साइट क्रॉलर और साइटमैप API

API ID 15233

टूटी हुई आंतरिक कड़ियों को चिह्नित करते हुए विनम्रतापूर्वक उसी साइट को क्रॉल करना और साइटमैप का विश्लेषण करना

API डॉक्यूमेंटेशन

एंडपॉइंट्स

अनुरोध
एक सार्वजनिक साइट को ब्रेड्थ-फर्स्ट तरीके से क्रॉल करें रोबोट्स डॉट टीएक्सटी का पालन करें और पेज की स्थिति तथा टूटे हुए आंतरिक लिंक लौटाएँ
Endpoint ID: 40757
GET https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40757/crawl+a+site
इनपुट पैरामीटर्स

किसी साइट को क्रॉल करें — एंडपॉइंट फीचर्स

ऑब्जेक्ट विवरण
url आवश्यक Crawl start. Only http and https. A bare host is treated as https.
max_pages वैकल्पिक Maximum HTML pages to fetch. Default 50. Hard maximum 200.
max_depth वैकल्पिक Link depth from the start URL. The start page is depth 0. Default 3, maximum 8.
same_host_only वैकल्पिक Stay on the start host. www and the apex count as the same host. Default true.
check_external वैकल्पिक Probe off-site links. They are classified, not crawled. Default false.
include_sitemap वैकल्पिक Parse the sitemap and list URLs that no crawled page linked to. Default false.
refresh वैकल्पिक Ignore the cached crawl report. Default false.

शेष मुफ्त टेस्ट रिक्वेस्ट्स: 3 में से 3.


इनपुट पैरामीटर्स

url
max_pages
max_depth
same_host_only
check_external
include_sitemap
refresh
API उदाहरण प्रतिक्रिया
JSON
{
    "url": "https://example.com/",
    "final_url": "https://example.com/",
    "host": "example.com",
    "truncated": false,
    "elapsed_ms": 51,
    "robots": {
        "present": false,
        "status_code": 404,
        "error": null
    },
    "summary": {
        "pages_crawled": 1,
        "pages_ok": 1,
        "broken_internal": 0,
        "unverified": 0,
        "redirects": 0,
        "orphans": 0,
        "external_checked": 0,
        "max_pages": 5,
        "max_depth": 1
    },
    "pages": [
        {
            "url": "https://example.com/",
            "final_url": "https://example.com/",
            "status": 200,
            "title": "Example Domain",
            "depth": 0,
            "inbound": 0,
            "kind": "ok",
            "reason": null,
            "error": null,
            "redirect_chain": [
                {
                    "url": "https://example.com/",
                    "status_code": 200
                }
            ]
        }
    ],
    "broken_internal_links": [],
    "unverified_links": [],
    "external_links": [],
    "orphans": [],
    "sitemap": null,
    "cached": true
}
किसी साइट को क्रॉल करें — कोड स्निपेट्स

curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40757/crawl+a+site?url=https://example.com/&max_pages=5&max_depth=1&same_host_only=true&check_external=false&include_sitemap=false&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY' 


    
अनुरोध
साइटमैप प्राप्त करें या किसी पृष्ठ URL से उसका पता लगाएँ इंडेक्स का विस्तार करें और URL संख्या तथा सत्यापन संबंधी समस्याएँ लौटाएँ
Endpoint ID: 40758
GET https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40758/parse+a+sitemap
इनपुट पैरामीटर्स

एक साइटमैप पार्स करें — एंडपॉइंट फीचर्स

ऑब्जेक्ट विवरण
url आवश्यक A page URL or a sitemap URL. Only http and https.
refresh वैकल्पिक Ignore the cached result and fetch again. Default false.

शेष मुफ्त टेस्ट रिक्वेस्ट्स: 3 में से 3.


इनपुट पैरामीटर्स

url
refresh
API उदाहरण प्रतिक्रिया
JSON
{
    "url": "https://example.com/",
    "sitemaps": [
        {
            "url": "https://example.com/sitemap.xml",
            "type": "invalid",
            "count": 0,
            "status_code": 404
        }
    ],
    "urls": [],
    "counts": {
        "urls": 0,
        "sitemaps": 1,
        "children_fetched": 1
    },
    "issues": [
        {
            "url": "https://example.com/sitemap.xml",
            "issue": "http_404"
        }
    ],
    "truncated": false,
    "cached": true
}
एक साइटमैप पार्स करें — कोड स्निपेट्स

curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40758/parse+a+sitemap?url=https://example.com/&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY' 


    

API एक्सेस कुंजी और प्रमाणीकरण

साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए साइट क्रॉलर और साइटमैप API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।

हेडर्स
हेडर विवरण
Authorization आवश्यक होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।

कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें।

शुरू होता है
$10,000/वर्ष


  • कस्टम वॉल्यूम
  • कस्टम रेट लिमिट
  • विशेष ग्राहक सहायता
  • रीयल-टाइम API मॉनिटरिंग

अवलोकन

विनम्र रूप से उसी साइट को क्रॉल करना और साइटमैप को पार्स करना, साथ ही टूटे हुए आंतरिक लिंक की जानकारी देना

साइट क्रॉलर और साइटमैप API FAQs

नहीं टाइमआउट और 400 401 403 और 429 अप्रमाणित हैं खराब नहीं

डिफ़ॉल्ट 50 अधिकतम सीमा 200 है यह वॉक लगभग 60 सेकंड बाद भी रुक जाता है और truncated को true पर सेट करता है

हाँ क्रॉल ब्रेड्थ-फर्स्ट है विनम्र है और robots.txt का सम्मान करता है

हाँ crawl endpoint पर include_sitemap=true सेट करें ताकि उन sitemap URLs की सूची मिले जिन्हें किसी भी क्रॉल किए गए पेज ने लिंक नहीं किया

क्रॉल रिपोर्ट कैश की जा सकती हैं कैश की गई क्रॉल रिपोर्ट को अनदेखा करने के लिए refresh=true पास करें

सामान्य FAQs

Zyla API Hub APIs के लिए एक बड़ा स्टोर जैसा है, जहाँ आप हजारों APIs एक ही जगह पर पा सकते हैं। हम सभी APIs की समर्पित सपोर्ट और रीयल-टाइम मॉनिटरिंग भी प्रदान करते हैं। एक बार साइन अप करने के बाद, आप चुन सकते हैं कि कौन सी APIs उपयोग करनी हैं। बस याद रखें, प्रत्येक API को अपनी स्वयं की सब्सक्रिप्शन की आवश्यकता होती है। लेकिन यदि आप कई APIs पर सब्सक्राइब करते हैं, तो आप सभी के लिए एक ही की का उपयोग करेंगे, जिससे आपके लिए चीज़ें आसान हो जाती हैं।
कीमतें USD (अमेरिकी डॉलर), EUR (यूरो), CAD (कनाडाई डॉलर), AUD (ऑस्ट्रेलियाई डॉलर), और GBP (ब्रिटिश पाउंड) में सूचीबद्ध हैं। हम सभी प्रमुख डेबिट और क्रेडिट कार्ड स्वीकार करते हैं। हमारा पेमेंट सिस्टम नवीनतम सुरक्षा तकनीक का उपयोग करता है और Stripe द्वारा संचालित है, जो दुनिया की सबसे विश्वसनीय पेमेंट कंपनियों में से एक है। यदि आपको कार्ड से पेमेंट करने में कोई समस्या हो, तो बस हमसे संपर्क करें [email protected]

इसके अलावा, यदि आपके पास पहले से ही इनमें से किसी भी करेंसी (USD, EUR, CAD, AUD, GBP) में एक सक्रिय सब्सक्रिप्शन है, तो बाद की सब्सक्रिप्शंस के लिए वही करेंसी बनी रहेगी। जब तक आपके पास कोई सक्रिय सब्सक्रिप्शन नहीं है, आप किसी भी समय करेंसी बदल सकते हैं।
प्राइसिंग पेज पर दिखाई देने वाली स्थानीय करेंसी आपके IP पते के देश पर आधारित है और केवल संदर्भ के लिए प्रदान की गई है। वास्तविक कीमतें USD (अमेरिकी डॉलर) में हैं। जब आप भुगतान करते हैं, तो आपके कार्ड स्टेटमेंट पर चार्ज USD में दिखाई देगा, भले ही हमारी वेबसाइट पर आपको आपकी स्थानीय करेंसी में समतुल्य राशि दिखाई दे। इसका अर्थ है कि आप सीधे अपनी स्थानीय करेंसी से भुगतान नहीं कर सकते।
कभी-कभी, बैंक फ्रॉड प्रोटेक्शन सेटिंग्स के कारण चार्ज को डिक्लाइन कर सकता है। हम सुझाव देते हैं कि आप पहले अपने बैंक से संपर्क करें कि क्या वे हमारे चार्ज को ब्लॉक कर रहे हैं। साथ ही, आप बिलिंग पोर्टल तक पहुंच सकते हैं और भुगतान करने के लिए जुड़े कार्ड को बदल सकते हैं। यदि यह काम नहीं करता और आपको अतिरिक्त सहायता की आवश्यकता है, तो कृपया हमारी टीम से संपर्क करें [email protected]
कीमतें पुनरावर्ती मासिक या वार्षिक सब्सक्रिप्शन के आधार पर निर्धारित की जाती हैं, जो चुने गए प्लान पर निर्भर करती हैं।
API कॉल्स आपके प्लान से सफल रिक्वेस्ट के आधार पर घटाई जाती हैं। प्रत्येक प्लान में प्रति माह आप जितनी कॉल कर सकते हैं उसकी एक विशेष संख्या होती है। केवल सफल कॉल्स, जो स्टेटस 200 रिस्पॉन्स से इंगित होती हैं, आपकी कुल संख्या से घटाई जाएँगी। इससे सुनिश्चित होता है कि असफल या अधूरी रिक्वेस्ट आपके मासिक कोटा को प्रभावित नहीं करतीं।
Zyla API Hub एक पुनरावर्ती मासिक सब्सक्रिप्शन सिस्टम पर काम करता है। आपका बिलिंग साइकल उस दिन से शुरू होगा जिस दिन आप किसी पेड प्लान को खरीदते हैं, और अगले महीने के उसी दिन नवीनीकृत होगा। इसलिए यदि आप भविष्य के चार्ज से बचना चाहते हैं, तो समय पर अपनी सब्सक्रिप्शन कैंसल करना सुनिश्चित करें।
अपनी मौजूदा सब्सक्रिप्शन प्लान को अपग्रेड करने के लिए, बस API के प्राइसिंग पेज पर जाएँ और वह प्लान चुनें जिस पर आप अपग्रेड करना चाहते हैं। अपग्रेड तुरंत प्रभावी होगा, जिससे आपको नए प्लान की सुविधाओं का तुरंत आनंद मिलेगा। कृपया ध्यान दें कि आपके पिछले प्लान से बची हुई कॉल्स नए प्लान में नहीं जोड़ी जाएँगी, इसलिए अपग्रेड करने से पहले इसे ध्यान में रखें। आपको नए प्लान की पूरी राशि चार्ज की जाएगी।
यह देखने के लिए कि आपके पास वर्तमान महीने के लिए कितनी API कॉल्स बची हैं, रिस्पॉन्स हेडर में "X-Zyla-API-Calls-Monthly-Remaining" फ़ील्ड देखें। उदाहरण के लिए, यदि आपके प्लान में प्रति माह 1,000 रिक्वेस्ट की अनुमति है और आपने 100 का उपयोग किया है, तो रिस्पॉन्स हेडर में यह फ़ील्ड 900 बची हुई कॉल्स दिखाएगा।
आपके प्लान में अनुमत API रिक्वेस्ट्स की अधिकतम संख्या देखने के लिए, "X-Zyla-RateLimit-Limit" रिस्पॉन्स हेडर देखें। उदाहरण के लिए, यदि आपके प्लान में प्रति माह 1,000 रिक्वेस्ट्स शामिल हैं, तो यह हेडर 1,000 दिखाएगा।
"X-Zyla-RateLimit-Reset" हेडर यह दिखाता है कि आपकी रेट लिमिट रीसेट होने में कितने सेकंड बचे हैं। यह आपको बताता है कि आपकी रिक्वेस्ट गिनती कब से फिर से शुरू होगी। उदाहरण के लिए, यदि यह 3,600 दिखाता है, तो इसका मतलब है कि लिमिट रीसेट होने में 3,600 सेकंड बचे हैं।
हाँ, आप कभी भी अपने अकाउंट में जाकर और बिलिंग पेज पर कैंसिलेशन विकल्प चुनकर अपना प्लान कैंसल कर सकते हैं। कृपया ध्यान दें कि अपग्रेड, डाउनग्रेड और कैंसिलेशन तुरंत प्रभावी होते हैं। साथ ही, कैंसल करने पर आपको सेवा तक पहुंच नहीं होगी, भले ही आपके कोटा में कॉल्स बची हों।
आपको बिना किसी प्रतिबद्धता के हमारी APIs का अनुभव करने का मौका देने के लिए, हम 7-दिवसीय फ्री ट्रायल प्रदान करते हैं, जो आपको 50 API कॉल्स तक मुफ्त में करने की अनुमति देता है। यह ट्रायल केवल एक बार उपयोग किया जा सकता है, इसलिए हम सलाह देते हैं कि आप इसे उस API पर लागू करें जिसमें आपको सबसे अधिक रुचि है। जबकि अधिकांश APIs फ्री ट्रायल प्रदान करते हैं, कुछ शायद न करें। ट्रायल 7 दिनों के बाद या 50 रिक्वेस्ट होने पर, जो भी पहले हो, समाप्त हो जाता है। यदि आप ट्रायल के दौरान 50 रिक्वेस्ट लिमिट तक पहुँच जाते हैं, तो रिक्वेस्ट जारी रखने के लिए आपको "Start Your Paid Plan" करना होगा। आप अपने प्रोफाइल में Subscription -> जिस API पर आप सब्सक्राइब हैं उसे चुनें -> Pricing टैब में "Start Your Paid Plan" बटन पा सकते हैं। यदि आप 7वें दिन से पहले अपनी सब्सक्रिप्शन कैंसल नहीं करते हैं, तो आपका फ्री ट्रायल समाप्त हो जाएगा और आपका प्लान अपने आप चार्ज हो जाएगा, जिससे आपको अपने प्लान में निर्दिष्ट सभी API कॉल्स तक पहुंच मिल जाएगी। अवांछित चार्ज से बचने के लिए कृपया इसे ध्यान में रखें।
7 दिनों के बाद, आपको उस प्लान की पूरी राशि चार्ज की जाएगी, जिस पर आप ट्रायल के दौरान सब्सक्राइब थे। इसलिए, ट्रायल अवधि समाप्त होने से पहले कैंसल करना महत्वपूर्ण है। समय पर कैंसल करना भूलने के लिए रिफंड अनुरोध स्वीकार नहीं किए जाते।
जब आप किसी API के फ्री ट्रायल पर सब्सक्राइब करते हैं, तो आप 50 API कॉल्स तक कर सकते हैं। यदि आप इस लिमिट से आगे अतिरिक्त API कॉल्स करना चाहते हैं, तो API आपको "Start Your Paid Plan" करने का संकेत देगा। आप अपने प्रोफाइल में Subscription -> जिस API पर आप सब्सक्राइब हैं उसे चुनें -> Pricing टैब में "Start Your Paid Plan" बटन पा सकते हैं।
पAYOUT ऑर्डर्स महीने की 20 तारीख से 30 तारीख के बीच प्रोसेस किए जाते हैं। यदि आप अपना अनुरोध 20 तारीख से पहले सबमिट करते हैं, तो आपका पेमेंट इस समयावधि के भीतर प्रोसेस किया जाएगा।
आप तुरंत सहायता प्राप्त करने के लिए हमारे चैट चैनल के माध्यम से हमसे संपर्क कर सकते हैं। हम हमेशा सुबह 8 बजे से शाम 5 बजे (EST) तक ऑनलाइन रहते हैं। यदि आप हमें उस समय के बाद संपर्क करते हैं, तो हम यथाशीघ्र आपसे संपर्क करेंगे। इसके अलावा, आप हमें ईमेल के माध्यम से भी संपर्क कर सकते हैं [email protected]

संबंधित APIs