रोबोट्स और साइटमैप चेकर्स API

API ID 14047

एक एकल डोमेन दिए जाने पर उस साइट के robots.txt (प्रति उपयोगकर्ता-एजेंट के लिए क्रॉल अनुमति/निषेध नियम, क्रॉल-डिले, घोषित साइटमैप यूआरएल) और sitemap.xml (अवस्थितता, यूआरएल संख्या, और चाइल्ड-साइटमैप संख्या यदि) की जांच करता है

API डॉक्यूमेंटेशन

एंडपॉइंट्स

अनुरोध
लक्ष्य डोमेन के robots.txt और साइटमैप(s) की जांच करता है, क्रॉल नियम, साइटमैप URL की संख्या और पहचान की गई समस्याएँ लौटाता है परिणाम 6 घंटे के लिए कैश किए जाते हैं
Endpoint ID: 34290
GET https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap
इनपुट पैरामीटर्स

शेष मुफ्त टेस्ट रिक्वेस्ट्स: 3 में से 3.


इनपुट पैरामीटर्स

इस एंडपॉइंट के लिए किसी इनपुट पैरामीटर की आवश्यकता नहीं है।

API उदाहरण प्रतिक्रिया
JSON
{
    "domain": "example.com",
    "robotsTxt": {
        "url": "https://example.com/robots.txt",
        "found": false,
        "statusCode": 404,
        "groups": [],
        "declaredSitemaps": []
    },
    "sitemap": {
        "source": "fallback_sitemap_xml",
        "results": [
            {
                "url": "https://example.com/sitemap.xml",
                "found": false,
                "statusCode": 404
            }
        ]
    },
    "issues": [
        {
            "code": "robots_missing",
            "severity": "info",
            "message": "robots.txt가 없습니다 — 기본적으로 전체 크롤링이 허용됩니다."
        },
        {
            "code": "no_sitemap_declared",
            "severity": "info",
            "message": "robots.txt에 Sitemap 필드가 선언되어 있지 않습니다 — /sitemap.xml 기본 경로만 확인했습니다."
        }
    ]
}
रोबोट्स टेक्स्ट और साइटमैप की जांच करें — कोड स्निपेट्स

curl --location --request GET 'https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap' --header 'Authorization: Bearer YOUR_API_KEY' 


    

API एक्सेस कुंजी और प्रमाणीकरण

साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए रोबोट्स और साइटमैप चेकर्स API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।

हेडर्स
हेडर विवरण
Authorization आवश्यक होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।

कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें। फ्री ट्रायल में 50 रिक्वेस्ट तक शामिल हैं।

शुरू होता है
$10,000/वर्ष


  • कस्टम वॉल्यूम
  • कस्टम रेट लिमिट
  • विशेष ग्राहक सहायता
  • रीयल-टाइम API मॉनिटरिंग

अवलोकन

एकल डोमेन दिए जाने पर, उस साइट के robots.txt (प्रत्येक उपयोगकर्ता-एजेंट के लिए क्रॉल अनुमति/निषेध नियम, क्रॉल-डिले, घोषित साइटमैप यूआरएल) और sitemap.xml (अवस्था, यूआरएल संख्या, और यदि यह एक साइटमैप इंडेक्स है तो चाइल्ड-साइटमैप संख्या) को एक साथ जांचता है और संरचित JSON लौटाता है सामान्य गलतियाँ जैसे कि पूर्ण क्रॉल ब्लॉक (Disallow: /) या घोषित लेकिन पहुँच से बाहर साइटमैप को मुद्दों की सूची में स्वचालित रूप से चिह्नित किया जाता है SEO ऑडिट, साइट-माइग्रेशन सत्यापन, और पूर्व-परिनियोजन CI जांच के लिए उपयोग के लिए तैयार robots.txt विश्लेषण RFC 9309 (2022 IETF मानक) का अनुसरण करता है और साइटमैप की गणनाएँ XML टैग की गणनाएँ हैं (हर व्यक्तिगत यूआरएल को सूचीबद्ध करना और gzip साइटमैप को अनजिप करना v1 के दायरे से बाहर हैं) पूर्ण-क्रॉल-ब्लॉक पहचान वाइल्डकार्ड (*) उपयोगकर्ता-एजेंट समूह पर आधारित है एक ब्लॉक जो केवल एक विशिष्ट क्रॉलर को लक्षित करता है उसे v1 में अलग से चिह्नित नहीं किया गया है यह एक पूर्ण SEO ऑडिट या साइट-माइग्रेशन QA के लिए विकल्प नहीं है परिणाम 6 घंटे के लिए कैश किए जाते हैं

रोबोट्स और साइटमैप चेकर्स API FAQs

अंत बिंदु संरचित JSON डेटा लौटाता है जिसमें robots.txt फ़ाइल की स्थिति, साइटमैप URL और कोई भी_detected समस्याएं शामिल हैं यह क्रॉल नियमों, साइटमैप की मौजूदगी, URL की संख्या और सामान्य गलतियों को चिह्नित करने की जानकारी प्रदान करता है

मुख्य क्षेत्रों में `domain`, `robotsTxt` (जिसमें `url`, `found`, `statusCode`, `groups`, और `declaredSitemaps` शामिल हैं), `sitemap` (जिसमें `source` और `results` शामिल हैं), और `issues` (जिसमें `code`, `severity`, और `message` शामिल हैं) शामिल हैं

यह उत्तर तीन मुख्य अनुभागों में व्यवस्थित है: `डोमेन` लक्षित साइट के लिए `रोबोट्सटीएक्स` क्रॉल नियमों और साइटमैप घोषणाओं के लिए और `साइटमैप` साइटमैप स्थिति के लिए प्रत्येक अनुभाग में प्रासंगिक विवरण और किसी भी पहचानी गई समस्याएँ शामिल हैं

एंडपॉइंट रोबोट्स.txt फ़ाइल के अस्तित्व और स्थिति, घोषित साइटमैप, साइटमैप में URL की मात्रा और किसी भी समस्याओं जैसे गायब फ़ाइलें या क्रॉल ब्लॉक्स के बारे में जानकारी प्रदान करता है

उपयोगकर्ता एपीआई कॉल में लक्ष्य डोमेन को निर्दिष्ट करके अनुरोधों को अनुकूलित कर सकते हैं अंत बिंदु को अतिरिक्त पैरामीटर की आवश्यकता नहीं होती है जो किसी भी डोमेन के लिए उपयोग करना सरल बनाता है

आम उपयोग के मामले में SEO ऑडिट करना वेबसाइट माइग्रेशन को सत्यापित करना और उचित क्रॉल सेटिंग्स और साइटमैप पहुंच को सुनिश्चित करने के लिए पूर्व-तैनाती जांच करना शामिल है

डाटा सटीकता को robots.txt पार्सिंग के लिए RFC 9309 मानक का पालन करके और साइटमैप URL की उपस्थिति और स्थिति की प्रणालीबद्ध तरीके से जांच करके बनाए रखा जाता है

यदि परिणाम आंशिक या खाली हैं, तो उपयोगकर्ताओं को प्रतिक्रिया में `found` फ़ील्ड की जांच करनी चाहिए यदि `false` है, तो इसका मतलब है कि robots.txt या साइटमैप नहीं मिला, जिससे डोमेन के कॉन्फ़िगरेशन की और जांच करने की आवश्यकता होती है

सामान्य FAQs

Zyla API Hub APIs के लिए एक बड़ा स्टोर जैसा है, जहाँ आप हजारों APIs एक ही जगह पर पा सकते हैं। हम सभी APIs की समर्पित सपोर्ट और रीयल-टाइम मॉनिटरिंग भी प्रदान करते हैं। एक बार साइन अप करने के बाद, आप चुन सकते हैं कि कौन सी APIs उपयोग करनी हैं। बस याद रखें, प्रत्येक API को अपनी स्वयं की सब्सक्रिप्शन की आवश्यकता होती है। लेकिन यदि आप कई APIs पर सब्सक्राइब करते हैं, तो आप सभी के लिए एक ही की का उपयोग करेंगे, जिससे आपके लिए चीज़ें आसान हो जाती हैं।
कीमतें USD (अमेरिकी डॉलर), EUR (यूरो), CAD (कनाडाई डॉलर), AUD (ऑस्ट्रेलियाई डॉलर), और GBP (ब्रिटिश पाउंड) में सूचीबद्ध हैं। हम सभी प्रमुख डेबिट और क्रेडिट कार्ड स्वीकार करते हैं। हमारा पेमेंट सिस्टम नवीनतम सुरक्षा तकनीक का उपयोग करता है और Stripe द्वारा संचालित है, जो दुनिया की सबसे विश्वसनीय पेमेंट कंपनियों में से एक है। यदि आपको कार्ड से पेमेंट करने में कोई समस्या हो, तो बस हमसे संपर्क करें [email protected]

इसके अलावा, यदि आपके पास पहले से ही इनमें से किसी भी करेंसी (USD, EUR, CAD, AUD, GBP) में एक सक्रिय सब्सक्रिप्शन है, तो बाद की सब्सक्रिप्शंस के लिए वही करेंसी बनी रहेगी। जब तक आपके पास कोई सक्रिय सब्सक्रिप्शन नहीं है, आप किसी भी समय करेंसी बदल सकते हैं।
प्राइसिंग पेज पर दिखाई देने वाली स्थानीय करेंसी आपके IP पते के देश पर आधारित है और केवल संदर्भ के लिए प्रदान की गई है। वास्तविक कीमतें USD (अमेरिकी डॉलर) में हैं। जब आप भुगतान करते हैं, तो आपके कार्ड स्टेटमेंट पर चार्ज USD में दिखाई देगा, भले ही हमारी वेबसाइट पर आपको आपकी स्थानीय करेंसी में समतुल्य राशि दिखाई दे। इसका अर्थ है कि आप सीधे अपनी स्थानीय करेंसी से भुगतान नहीं कर सकते।
कभी-कभी, बैंक फ्रॉड प्रोटेक्शन सेटिंग्स के कारण चार्ज को डिक्लाइन कर सकता है। हम सुझाव देते हैं कि आप पहले अपने बैंक से संपर्क करें कि क्या वे हमारे चार्ज को ब्लॉक कर रहे हैं। साथ ही, आप बिलिंग पोर्टल तक पहुंच सकते हैं और भुगतान करने के लिए जुड़े कार्ड को बदल सकते हैं। यदि यह काम नहीं करता और आपको अतिरिक्त सहायता की आवश्यकता है, तो कृपया हमारी टीम से संपर्क करें [email protected]
कीमतें पुनरावर्ती मासिक या वार्षिक सब्सक्रिप्शन के आधार पर निर्धारित की जाती हैं, जो चुने गए प्लान पर निर्भर करती हैं।
API कॉल्स आपके प्लान से सफल रिक्वेस्ट के आधार पर घटाई जाती हैं। प्रत्येक प्लान में प्रति माह आप जितनी कॉल कर सकते हैं उसकी एक विशेष संख्या होती है। केवल सफल कॉल्स, जो स्टेटस 200 रिस्पॉन्स से इंगित होती हैं, आपकी कुल संख्या से घटाई जाएँगी। इससे सुनिश्चित होता है कि असफल या अधूरी रिक्वेस्ट आपके मासिक कोटा को प्रभावित नहीं करतीं।
Zyla API Hub एक पुनरावर्ती मासिक सब्सक्रिप्शन सिस्टम पर काम करता है। आपका बिलिंग साइकल उस दिन से शुरू होगा जिस दिन आप किसी पेड प्लान को खरीदते हैं, और अगले महीने के उसी दिन नवीनीकृत होगा। इसलिए यदि आप भविष्य के चार्ज से बचना चाहते हैं, तो समय पर अपनी सब्सक्रिप्शन कैंसल करना सुनिश्चित करें।
अपनी मौजूदा सब्सक्रिप्शन प्लान को अपग्रेड करने के लिए, बस API के प्राइसिंग पेज पर जाएँ और वह प्लान चुनें जिस पर आप अपग्रेड करना चाहते हैं। अपग्रेड तुरंत प्रभावी होगा, जिससे आपको नए प्लान की सुविधाओं का तुरंत आनंद मिलेगा। कृपया ध्यान दें कि आपके पिछले प्लान से बची हुई कॉल्स नए प्लान में नहीं जोड़ी जाएँगी, इसलिए अपग्रेड करने से पहले इसे ध्यान में रखें। आपको नए प्लान की पूरी राशि चार्ज की जाएगी।
यह देखने के लिए कि आपके पास वर्तमान महीने के लिए कितनी API कॉल्स बची हैं, रिस्पॉन्स हेडर में "X-Zyla-API-Calls-Monthly-Remaining" फ़ील्ड देखें। उदाहरण के लिए, यदि आपके प्लान में प्रति माह 1,000 रिक्वेस्ट की अनुमति है और आपने 100 का उपयोग किया है, तो रिस्पॉन्स हेडर में यह फ़ील्ड 900 बची हुई कॉल्स दिखाएगा।
आपके प्लान में अनुमत API रिक्वेस्ट्स की अधिकतम संख्या देखने के लिए, "X-Zyla-RateLimit-Limit" रिस्पॉन्स हेडर देखें। उदाहरण के लिए, यदि आपके प्लान में प्रति माह 1,000 रिक्वेस्ट्स शामिल हैं, तो यह हेडर 1,000 दिखाएगा।
"X-Zyla-RateLimit-Reset" हेडर यह दिखाता है कि आपकी रेट लिमिट रीसेट होने में कितने सेकंड बचे हैं। यह आपको बताता है कि आपकी रिक्वेस्ट गिनती कब से फिर से शुरू होगी। उदाहरण के लिए, यदि यह 3,600 दिखाता है, तो इसका मतलब है कि लिमिट रीसेट होने में 3,600 सेकंड बचे हैं।
हाँ, आप कभी भी अपने अकाउंट में जाकर और बिलिंग पेज पर कैंसिलेशन विकल्प चुनकर अपना प्लान कैंसल कर सकते हैं। कृपया ध्यान दें कि अपग्रेड, डाउनग्रेड और कैंसिलेशन तुरंत प्रभावी होते हैं। साथ ही, कैंसल करने पर आपको सेवा तक पहुंच नहीं होगी, भले ही आपके कोटा में कॉल्स बची हों।
आपको बिना किसी प्रतिबद्धता के हमारी APIs का अनुभव करने का मौका देने के लिए, हम 7-दिवसीय फ्री ट्रायल प्रदान करते हैं, जो आपको 50 API कॉल्स तक मुफ्त में करने की अनुमति देता है। यह ट्रायल केवल एक बार उपयोग किया जा सकता है, इसलिए हम सलाह देते हैं कि आप इसे उस API पर लागू करें जिसमें आपको सबसे अधिक रुचि है। जबकि अधिकांश APIs फ्री ट्रायल प्रदान करते हैं, कुछ शायद न करें। ट्रायल 7 दिनों के बाद या 50 रिक्वेस्ट होने पर, जो भी पहले हो, समाप्त हो जाता है। यदि आप ट्रायल के दौरान 50 रिक्वेस्ट लिमिट तक पहुँच जाते हैं, तो रिक्वेस्ट जारी रखने के लिए आपको "Start Your Paid Plan" करना होगा। आप अपने प्रोफाइल में Subscription -> जिस API पर आप सब्सक्राइब हैं उसे चुनें -> Pricing टैब में "Start Your Paid Plan" बटन पा सकते हैं। यदि आप 7वें दिन से पहले अपनी सब्सक्रिप्शन कैंसल नहीं करते हैं, तो आपका फ्री ट्रायल समाप्त हो जाएगा और आपका प्लान अपने आप चार्ज हो जाएगा, जिससे आपको अपने प्लान में निर्दिष्ट सभी API कॉल्स तक पहुंच मिल जाएगी। अवांछित चार्ज से बचने के लिए कृपया इसे ध्यान में रखें।
7 दिनों के बाद, आपको उस प्लान की पूरी राशि चार्ज की जाएगी, जिस पर आप ट्रायल के दौरान सब्सक्राइब थे। इसलिए, ट्रायल अवधि समाप्त होने से पहले कैंसल करना महत्वपूर्ण है। समय पर कैंसल करना भूलने के लिए रिफंड अनुरोध स्वीकार नहीं किए जाते।
जब आप किसी API के फ्री ट्रायल पर सब्सक्राइब करते हैं, तो आप 50 API कॉल्स तक कर सकते हैं। यदि आप इस लिमिट से आगे अतिरिक्त API कॉल्स करना चाहते हैं, तो API आपको "Start Your Paid Plan" करने का संकेत देगा। आप अपने प्रोफाइल में Subscription -> जिस API पर आप सब्सक्राइब हैं उसे चुनें -> Pricing टैब में "Start Your Paid Plan" बटन पा सकते हैं।
पAYOUT ऑर्डर्स महीने की 20 तारीख से 30 तारीख के बीच प्रोसेस किए जाते हैं। यदि आप अपना अनुरोध 20 तारीख से पहले सबमिट करते हैं, तो आपका पेमेंट इस समयावधि के भीतर प्रोसेस किया जाएगा।
आप तुरंत सहायता प्राप्त करने के लिए हमारे चैट चैनल के माध्यम से हमसे संपर्क कर सकते हैं। हम हमेशा सुबह 8 बजे से शाम 5 बजे (EST) तक ऑनलाइन रहते हैं। यदि आप हमें उस समय के बाद संपर्क करते हैं, तो हम यथाशीघ्र आपसे संपर्क करेंगे। इसके अलावा, आप हमें ईमेल के माध्यम से भी संपर्क कर सकते हैं [email protected]

संबंधित APIs