{
"ok": true,
"summary": {
"domain": "blog.cloudflare.com",
"origin": "https://blog.cloudflare.com",
"homepageStatus": 200,
"robots": {
"url": "https://blog.cloudflare.com/robots.txt",
"status": 200,
"present": true,
"userAgent": "SteadylineBot",
"userAgentGroupsCount": 1,
"matchedGroup": "*",
"disallow": [
"/_emdash/admin",
"/preview/"
],
"allow": [
"/"
],
"crawlDelay": null,
"blocksEverything": false,
"aiBotsBlocked": []
},
"sitemaps": [
{
"url": "https://blog.cloudflare.com/sitemap.xml",
"status": 200,
"type": "index",
"entries": 8,
"error": null
},
{
"url": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"status": 200,
"type": "urlset",
"entries": 78,
"error": null
}
],
"sitemapsGuessed": false,
"feeds": [
{
"url": "https://blog.cloudflare.com/rss/",
"foundVia": "link-rel-alternate",
"format": "rss",
"title": "Cloudflare Blog",
"itemCount": 20,
"latestItem": "Mon, 02 Nov 2026 14:00:00 GMT"
}
],
"llmsTxt": {
"url": "https://blog.cloudflare.com/llms.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"llmsFullTxt": {
"url": "https://blog.cloudflare.com/llms-full.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"urlCounts": {
"scannedInSitemaps": 21,
"matchedFilters": 20,
"filteredOut": 0,
"disallowedByRobots": 0,
"output": 20,
"truncatedAtMaxUrls": true
},
"analyzedAt": "2026-11-02T18:05:54.225Z",
"error": null
},
"urlCount": 20,
"urls": [
{
"url": "https://blog.cloudflare.com/zh-tw/cloudflare-basin",
"lastmod": "2026-10-12T03:39:57.788Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
},
{
"url": "https://blog.cloudflare.com/zh-cn/cloudflare-basin",
"lastmod": "2026-10-12T03:48:01.854Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
}
],
"meta": {
"requestId": "5f0c2a7e-0000-4000-8000-000000000000",
"durationMs": 2813
}
}
curl --location --request GET 'https://zylalabs.com/api/14711/website+sitemap+and+url+discovery+api/38030/discover+urls?domain=blog.cloudflare.com&maxUrls=50&includeUrls=true&includeLlmsTxt=true' --header 'Authorization: Bearer YOUR_API_KEY'
साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए वेबसाइट साइटमैप और यूआरएल खोज API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।
| हेडर | विवरण |
|---|---|
Authorization
|
आवश्यक
होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।
|
कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें। फ्री ट्रायल में 50 रिक्वेस्ट तक शामिल हैं।
एक अनुरोध में robots.txt, XML साइटमैप, साइटमैप इंडेक्स, RSS फ़ीड और llms.txt से किसी वेबसाइट के सभी सार्वजनिक URL खोजें
हाँ शामिल पैटर्न और बाहर निकालने के पैटर्न (कोमा से पृथक उपस्ट्रिंग) और lastmodSince का उपयोग करें केवल हाल ही में परिवर्तित पृष्ठों को बनाए रखने के लिए
नहीं प्रत्येक अनुरोध की प्रक्रिया मांग पर की जाती है और परिणाम प्रतिक्रिया में लौटाया जाता है आपकी अनुरोध के बारे में कुछ भी अल्पकालिक संचालन लॉग के अलावा नहीं रखा जाता है
आपको आंशिक डेटा के बजाय एक स्पष्ट कोड (जैसे invalid_input, no_result या timeout) के साथ JSON त्रुटि मिलती है अमान्य इनपुट के लिए अस्वीकृत अनुरोधों का उत्तर स्थिति 400 के साथ दिया जाता है