{
"domain": "example.com",
"robotsTxt": {
"url": "https://example.com/robots.txt",
"found": false,
"statusCode": 404,
"groups": [],
"declaredSitemaps": []
},
"sitemap": {
"source": "fallback_sitemap_xml",
"results": [
{
"url": "https://example.com/sitemap.xml",
"found": false,
"statusCode": 404
}
]
},
"issues": [
{
"code": "robots_missing",
"severity": "info",
"message": "robots.txt가 없습니다 — 기본적으로 전체 크롤링이 허용됩니다."
},
{
"code": "no_sitemap_declared",
"severity": "info",
"message": "robots.txt에 Sitemap 필드가 선언되어 있지 않습니다 — /sitemap.xml 기본 경로만 확인했습니다."
}
]
}
curl --location --request GET 'https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap' --header 'Authorization: Bearer YOUR_API_KEY'
साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए रोबोट्स और साइटमैप चेकर्स API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।
| हेडर | विवरण |
|---|---|
Authorization
|
आवश्यक
होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।
|
कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें। फ्री ट्रायल में 50 रिक्वेस्ट तक शामिल हैं।
अंत बिंदु संरचित JSON डेटा लौटाता है जिसमें robots.txt फ़ाइल की स्थिति, साइटमैप URL और कोई भी_detected समस्याएं शामिल हैं यह क्रॉल नियमों, साइटमैप की मौजूदगी, URL की संख्या और सामान्य गलतियों को चिह्नित करने की जानकारी प्रदान करता है
मुख्य क्षेत्रों में `domain`, `robotsTxt` (जिसमें `url`, `found`, `statusCode`, `groups`, और `declaredSitemaps` शामिल हैं), `sitemap` (जिसमें `source` और `results` शामिल हैं), और `issues` (जिसमें `code`, `severity`, और `message` शामिल हैं) शामिल हैं
यह उत्तर तीन मुख्य अनुभागों में व्यवस्थित है: `डोमेन` लक्षित साइट के लिए `रोबोट्सटीएक्स` क्रॉल नियमों और साइटमैप घोषणाओं के लिए और `साइटमैप` साइटमैप स्थिति के लिए प्रत्येक अनुभाग में प्रासंगिक विवरण और किसी भी पहचानी गई समस्याएँ शामिल हैं
एंडपॉइंट रोबोट्स.txt फ़ाइल के अस्तित्व और स्थिति, घोषित साइटमैप, साइटमैप में URL की मात्रा और किसी भी समस्याओं जैसे गायब फ़ाइलें या क्रॉल ब्लॉक्स के बारे में जानकारी प्रदान करता है
उपयोगकर्ता एपीआई कॉल में लक्ष्य डोमेन को निर्दिष्ट करके अनुरोधों को अनुकूलित कर सकते हैं अंत बिंदु को अतिरिक्त पैरामीटर की आवश्यकता नहीं होती है जो किसी भी डोमेन के लिए उपयोग करना सरल बनाता है
आम उपयोग के मामले में SEO ऑडिट करना वेबसाइट माइग्रेशन को सत्यापित करना और उचित क्रॉल सेटिंग्स और साइटमैप पहुंच को सुनिश्चित करने के लिए पूर्व-तैनाती जांच करना शामिल है
डाटा सटीकता को robots.txt पार्सिंग के लिए RFC 9309 मानक का पालन करके और साइटमैप URL की उपस्थिति और स्थिति की प्रणालीबद्ध तरीके से जांच करके बनाए रखा जाता है
यदि परिणाम आंशिक या खाली हैं, तो उपयोगकर्ताओं को प्रतिक्रिया में `found` फ़ील्ड की जांच करनी चाहिए यदि `false` है, तो इसका मतलब है कि robots.txt या साइटमैप नहीं मिला, जिससे डोमेन के कॉन्फ़िगरेशन की और जांच करने की आवश्यकता होती है