वेबसाइट साइटमैप और यूआरएल खोज API

API ID 14711

एक अनुरोध में robots.txt XML साइटमैप्स साइटमैप इंडेक्सेस RSS फ़ीड और llms.txt से एक वेबसाइट का प्रत्येक सार्वजनिक यूआरएल खोजें

API डॉक्यूमेंटेशन

एंडपॉइंट्स

अनुरोध
डोमेन के लिए robots.txt XML साइटमैप और साइटमैप इंडेक्स RSS और एटम फ़ीड और llms.txt को पढ़ता है फिर एक संक्षेप जानकारी के साथ 1,000 तक खोजे गए URL की अंतिम संशोधन तिथियों और फ़िल्टर के साथ लौटाता है
Endpoint ID: 38030
GET https://zylalabs.com/api/14711/website+sitemap+and+url+discovery+api/38030/discover+urls
इनपुट पैरामीटर्स

यूआरएल खोजें — एंडपॉइंट फीचर्स

ऑब्जेक्ट विवरण
domain आवश्यक Domain or URL.
maxUrls वैकल्पिक Maximum URLs returned. Range 1 to 1000. Default 100.
includeUrls वैकल्पिक Return the URL list (false returns only the summary). true or false. Default true.
includePatterns वैकल्पिक Only keep URLs containing one of these substrings or globs. Comma-separated list.
excludePatterns वैकल्पिक Drop URLs containing one of these substrings or globs. Comma-separated list.
lastmodSince वैकल्पिक Only URLs with lastmod on or after this date (YYYY-MM-DD).
includeLlmsTxt वैकल्पिक Fetch /llms.txt and include an excerpt. true or false. Default true.

शेष मुफ्त टेस्ट रिक्वेस्ट्स: 3 में से 3.


इनपुट पैरामीटर्स

domain
maxUrls
includeUrls
includePatterns
excludePatterns
lastmodSince
includeLlmsTxt
API उदाहरण प्रतिक्रिया
JSON
{
    "ok": true,
    "summary": {
        "domain": "blog.cloudflare.com",
        "origin": "https://blog.cloudflare.com",
        "homepageStatus": 200,
        "robots": {
            "url": "https://blog.cloudflare.com/robots.txt",
            "status": 200,
            "present": true,
            "userAgent": "SteadylineBot",
            "userAgentGroupsCount": 1,
            "matchedGroup": "*",
            "disallow": [
                "/_emdash/admin",
                "/preview/"
            ],
            "allow": [
                "/"
            ],
            "crawlDelay": null,
            "blocksEverything": false,
            "aiBotsBlocked": []
        },
        "sitemaps": [
            {
                "url": "https://blog.cloudflare.com/sitemap.xml",
                "status": 200,
                "type": "index",
                "entries": 8,
                "error": null
            },
            {
                "url": "https://blog.cloudflare.com/sitemap-posts-5.xml",
                "status": 200,
                "type": "urlset",
                "entries": 78,
                "error": null
            }
        ],
        "sitemapsGuessed": false,
        "feeds": [
            {
                "url": "https://blog.cloudflare.com/rss/",
                "foundVia": "link-rel-alternate",
                "format": "rss",
                "title": "Cloudflare Blog",
                "itemCount": 20,
                "latestItem": "Mon, 02 Nov 2026 14:00:00 GMT"
            }
        ],
        "llmsTxt": {
            "url": "https://blog.cloudflare.com/llms.txt",
            "present": false,
            "bytes": null,
            "excerpt": null
        },
        "llmsFullTxt": {
            "url": "https://blog.cloudflare.com/llms-full.txt",
            "present": false,
            "bytes": null,
            "excerpt": null
        },
        "urlCounts": {
            "scannedInSitemaps": 21,
            "matchedFilters": 20,
            "filteredOut": 0,
            "disallowedByRobots": 0,
            "output": 20,
            "truncatedAtMaxUrls": true
        },
        "analyzedAt": "2026-11-02T18:05:54.225Z",
        "error": null
    },
    "urlCount": 20,
    "urls": [
        {
            "url": "https://blog.cloudflare.com/zh-tw/cloudflare-basin",
            "lastmod": "2026-10-12T03:39:57.788Z",
            "changefreq": null,
            "priority": null,
            "sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
            "allowedByRobots": true
        },
        {
            "url": "https://blog.cloudflare.com/zh-cn/cloudflare-basin",
            "lastmod": "2026-10-12T03:48:01.854Z",
            "changefreq": null,
            "priority": null,
            "sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
            "allowedByRobots": true
        }
    ],
    "meta": {
        "requestId": "5f0c2a7e-0000-4000-8000-000000000000",
        "durationMs": 2813
    }
}
यूआरएल खोजें — कोड स्निपेट्स

curl --location --request GET 'https://zylalabs.com/api/14711/website+sitemap+and+url+discovery+api/38030/discover+urls?domain=blog.cloudflare.com&maxUrls=50&includeUrls=true&includeLlmsTxt=true' --header 'Authorization: Bearer YOUR_API_KEY' 


    

API एक्सेस कुंजी और प्रमाणीकरण

साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए वेबसाइट साइटमैप और यूआरएल खोज API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।

हेडर्स
हेडर विवरण
Authorization आवश्यक होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।

कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें। फ्री ट्रायल में 50 रिक्वेस्ट तक शामिल हैं।

शुरू होता है
$10,000/वर्ष


  • कस्टम वॉल्यूम
  • कस्टम रेट लिमिट
  • विशेष ग्राहक सहायता
  • रीयल-टाइम API मॉनिटरिंग

अवलोकन

एक अनुरोध में robots.txt, XML साइटमैप, साइटमैप इंडेक्स, RSS फ़ीड और llms.txt से किसी वेबसाइट के सभी सार्वजनिक URL खोजें

वेबसाइट साइटमैप और यूआरएल खोज API FAQs

हाँ शामिल पैटर्न और बाहर निकालने के पैटर्न (कोमा से पृथक उपस्ट्रिंग) और lastmodSince का उपयोग करें केवल हाल ही में परिवर्तित पृष्ठों को बनाए रखने के लिए

नहीं प्रत्येक अनुरोध की प्रक्रिया मांग पर की जाती है और परिणाम प्रतिक्रिया में लौटाया जाता है आपकी अनुरोध के बारे में कुछ भी अल्पकालिक संचालन लॉग के अलावा नहीं रखा जाता है

आपको आंशिक डेटा के बजाय एक स्पष्ट कोड (जैसे invalid_input, no_result या timeout) के साथ JSON त्रुटि मिलती है अमान्य इनपुट के लिए अस्वीकृत अनुरोधों का उत्तर स्थिति 400 के साथ दिया जाता है

सामान्य FAQs

Zyla API Hub APIs के लिए एक बड़ा स्टोर जैसा है, जहाँ आप हजारों APIs एक ही जगह पर पा सकते हैं। हम सभी APIs की समर्पित सपोर्ट और रीयल-टाइम मॉनिटरिंग भी प्रदान करते हैं। एक बार साइन अप करने के बाद, आप चुन सकते हैं कि कौन सी APIs उपयोग करनी हैं। बस याद रखें, प्रत्येक API को अपनी स्वयं की सब्सक्रिप्शन की आवश्यकता होती है। लेकिन यदि आप कई APIs पर सब्सक्राइब करते हैं, तो आप सभी के लिए एक ही की का उपयोग करेंगे, जिससे आपके लिए चीज़ें आसान हो जाती हैं।
कीमतें USD (अमेरिकी डॉलर), EUR (यूरो), CAD (कनाडाई डॉलर), AUD (ऑस्ट्रेलियाई डॉलर), और GBP (ब्रिटिश पाउंड) में सूचीबद्ध हैं। हम सभी प्रमुख डेबिट और क्रेडिट कार्ड स्वीकार करते हैं। हमारा पेमेंट सिस्टम नवीनतम सुरक्षा तकनीक का उपयोग करता है और Stripe द्वारा संचालित है, जो दुनिया की सबसे विश्वसनीय पेमेंट कंपनियों में से एक है। यदि आपको कार्ड से पेमेंट करने में कोई समस्या हो, तो बस हमसे संपर्क करें [email protected]

इसके अलावा, यदि आपके पास पहले से ही इनमें से किसी भी करेंसी (USD, EUR, CAD, AUD, GBP) में एक सक्रिय सब्सक्रिप्शन है, तो बाद की सब्सक्रिप्शंस के लिए वही करेंसी बनी रहेगी। जब तक आपके पास कोई सक्रिय सब्सक्रिप्शन नहीं है, आप किसी भी समय करेंसी बदल सकते हैं।
प्राइसिंग पेज पर दिखाई देने वाली स्थानीय करेंसी आपके IP पते के देश पर आधारित है और केवल संदर्भ के लिए प्रदान की गई है। वास्तविक कीमतें USD (अमेरिकी डॉलर) में हैं। जब आप भुगतान करते हैं, तो आपके कार्ड स्टेटमेंट पर चार्ज USD में दिखाई देगा, भले ही हमारी वेबसाइट पर आपको आपकी स्थानीय करेंसी में समतुल्य राशि दिखाई दे। इसका अर्थ है कि आप सीधे अपनी स्थानीय करेंसी से भुगतान नहीं कर सकते।
कभी-कभी, बैंक फ्रॉड प्रोटेक्शन सेटिंग्स के कारण चार्ज को डिक्लाइन कर सकता है। हम सुझाव देते हैं कि आप पहले अपने बैंक से संपर्क करें कि क्या वे हमारे चार्ज को ब्लॉक कर रहे हैं। साथ ही, आप बिलिंग पोर्टल तक पहुंच सकते हैं और भुगतान करने के लिए जुड़े कार्ड को बदल सकते हैं। यदि यह काम नहीं करता और आपको अतिरिक्त सहायता की आवश्यकता है, तो कृपया हमारी टीम से संपर्क करें [email protected]
कीमतें पुनरावर्ती मासिक या वार्षिक सब्सक्रिप्शन के आधार पर निर्धारित की जाती हैं, जो चुने गए प्लान पर निर्भर करती हैं।
API कॉल्स आपके प्लान से सफल रिक्वेस्ट के आधार पर घटाई जाती हैं। प्रत्येक प्लान में प्रति माह आप जितनी कॉल कर सकते हैं उसकी एक विशेष संख्या होती है। केवल सफल कॉल्स, जो स्टेटस 200 रिस्पॉन्स से इंगित होती हैं, आपकी कुल संख्या से घटाई जाएँगी। इससे सुनिश्चित होता है कि असफल या अधूरी रिक्वेस्ट आपके मासिक कोटा को प्रभावित नहीं करतीं।
Zyla API Hub एक पुनरावर्ती मासिक सब्सक्रिप्शन सिस्टम पर काम करता है। आपका बिलिंग साइकल उस दिन से शुरू होगा जिस दिन आप किसी पेड प्लान को खरीदते हैं, और अगले महीने के उसी दिन नवीनीकृत होगा। इसलिए यदि आप भविष्य के चार्ज से बचना चाहते हैं, तो समय पर अपनी सब्सक्रिप्शन कैंसल करना सुनिश्चित करें।
अपनी मौजूदा सब्सक्रिप्शन प्लान को अपग्रेड करने के लिए, बस API के प्राइसिंग पेज पर जाएँ और वह प्लान चुनें जिस पर आप अपग्रेड करना चाहते हैं। अपग्रेड तुरंत प्रभावी होगा, जिससे आपको नए प्लान की सुविधाओं का तुरंत आनंद मिलेगा। कृपया ध्यान दें कि आपके पिछले प्लान से बची हुई कॉल्स नए प्लान में नहीं जोड़ी जाएँगी, इसलिए अपग्रेड करने से पहले इसे ध्यान में रखें। आपको नए प्लान की पूरी राशि चार्ज की जाएगी।
यह देखने के लिए कि आपके पास वर्तमान महीने के लिए कितनी API कॉल्स बची हैं, रिस्पॉन्स हेडर में "X-Zyla-API-Calls-Monthly-Remaining" फ़ील्ड देखें। उदाहरण के लिए, यदि आपके प्लान में प्रति माह 1,000 रिक्वेस्ट की अनुमति है और आपने 100 का उपयोग किया है, तो रिस्पॉन्स हेडर में यह फ़ील्ड 900 बची हुई कॉल्स दिखाएगा।
आपके प्लान में अनुमत API रिक्वेस्ट्स की अधिकतम संख्या देखने के लिए, "X-Zyla-RateLimit-Limit" रिस्पॉन्स हेडर देखें। उदाहरण के लिए, यदि आपके प्लान में प्रति माह 1,000 रिक्वेस्ट्स शामिल हैं, तो यह हेडर 1,000 दिखाएगा।
"X-Zyla-RateLimit-Reset" हेडर यह दिखाता है कि आपकी रेट लिमिट रीसेट होने में कितने सेकंड बचे हैं। यह आपको बताता है कि आपकी रिक्वेस्ट गिनती कब से फिर से शुरू होगी। उदाहरण के लिए, यदि यह 3,600 दिखाता है, तो इसका मतलब है कि लिमिट रीसेट होने में 3,600 सेकंड बचे हैं।
हाँ, आप कभी भी अपने अकाउंट में जाकर और बिलिंग पेज पर कैंसिलेशन विकल्प चुनकर अपना प्लान कैंसल कर सकते हैं। कृपया ध्यान दें कि अपग्रेड, डाउनग्रेड और कैंसिलेशन तुरंत प्रभावी होते हैं। साथ ही, कैंसल करने पर आपको सेवा तक पहुंच नहीं होगी, भले ही आपके कोटा में कॉल्स बची हों।
आपको बिना किसी प्रतिबद्धता के हमारी APIs का अनुभव करने का मौका देने के लिए, हम 7-दिवसीय फ्री ट्रायल प्रदान करते हैं, जो आपको 50 API कॉल्स तक मुफ्त में करने की अनुमति देता है। यह ट्रायल केवल एक बार उपयोग किया जा सकता है, इसलिए हम सलाह देते हैं कि आप इसे उस API पर लागू करें जिसमें आपको सबसे अधिक रुचि है। जबकि अधिकांश APIs फ्री ट्रायल प्रदान करते हैं, कुछ शायद न करें। ट्रायल 7 दिनों के बाद या 50 रिक्वेस्ट होने पर, जो भी पहले हो, समाप्त हो जाता है। यदि आप ट्रायल के दौरान 50 रिक्वेस्ट लिमिट तक पहुँच जाते हैं, तो रिक्वेस्ट जारी रखने के लिए आपको "Start Your Paid Plan" करना होगा। आप अपने प्रोफाइल में Subscription -> जिस API पर आप सब्सक्राइब हैं उसे चुनें -> Pricing टैब में "Start Your Paid Plan" बटन पा सकते हैं। यदि आप 7वें दिन से पहले अपनी सब्सक्रिप्शन कैंसल नहीं करते हैं, तो आपका फ्री ट्रायल समाप्त हो जाएगा और आपका प्लान अपने आप चार्ज हो जाएगा, जिससे आपको अपने प्लान में निर्दिष्ट सभी API कॉल्स तक पहुंच मिल जाएगी। अवांछित चार्ज से बचने के लिए कृपया इसे ध्यान में रखें।
7 दिनों के बाद, आपको उस प्लान की पूरी राशि चार्ज की जाएगी, जिस पर आप ट्रायल के दौरान सब्सक्राइब थे। इसलिए, ट्रायल अवधि समाप्त होने से पहले कैंसल करना महत्वपूर्ण है। समय पर कैंसल करना भूलने के लिए रिफंड अनुरोध स्वीकार नहीं किए जाते।
जब आप किसी API के फ्री ट्रायल पर सब्सक्राइब करते हैं, तो आप 50 API कॉल्स तक कर सकते हैं। यदि आप इस लिमिट से आगे अतिरिक्त API कॉल्स करना चाहते हैं, तो API आपको "Start Your Paid Plan" करने का संकेत देगा। आप अपने प्रोफाइल में Subscription -> जिस API पर आप सब्सक्राइब हैं उसे चुनें -> Pricing टैब में "Start Your Paid Plan" बटन पा सकते हैं।
पAYOUT ऑर्डर्स महीने की 20 तारीख से 30 तारीख के बीच प्रोसेस किए जाते हैं। यदि आप अपना अनुरोध 20 तारीख से पहले सबमिट करते हैं, तो आपका पेमेंट इस समयावधि के भीतर प्रोसेस किया जाएगा।
आप तुरंत सहायता प्राप्त करने के लिए हमारे चैट चैनल के माध्यम से हमसे संपर्क कर सकते हैं। हम हमेशा सुबह 8 बजे से शाम 5 बजे (EST) तक ऑनलाइन रहते हैं। यदि आप हमें उस समय के बाद संपर्क करते हैं, तो हम यथाशीघ्र आपसे संपर्क करेंगे। इसके अलावा, आप हमें ईमेल के माध्यम से भी संपर्क कर सकते हैं [email protected]

संबंधित APIs