{
"url": "https://example.com/",
"final_url": "https://example.com/",
"host": "example.com",
"truncated": false,
"elapsed_ms": 51,
"robots": {
"present": false,
"status_code": 404,
"error": null
},
"summary": {
"pages_crawled": 1,
"pages_ok": 1,
"broken_internal": 0,
"unverified": 0,
"redirects": 0,
"orphans": 0,
"external_checked": 0,
"max_pages": 5,
"max_depth": 1
},
"pages": [
{
"url": "https://example.com/",
"final_url": "https://example.com/",
"status": 200,
"title": "Example Domain",
"depth": 0,
"inbound": 0,
"kind": "ok",
"reason": null,
"error": null,
"redirect_chain": [
{
"url": "https://example.com/",
"status_code": 200
}
]
}
],
"broken_internal_links": [],
"unverified_links": [],
"external_links": [],
"orphans": [],
"sitemap": null,
"cached": true
}
curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40757/crawl+a+site?url=https://example.com/&max_pages=5&max_depth=1&same_host_only=true&check_external=false&include_sitemap=false&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY'
{
"url": "https://example.com/",
"sitemaps": [
{
"url": "https://example.com/sitemap.xml",
"type": "invalid",
"count": 0,
"status_code": 404
}
],
"urls": [],
"counts": {
"urls": 0,
"sitemaps": 1,
"children_fetched": 1
},
"issues": [
{
"url": "https://example.com/sitemap.xml",
"issue": "http_404"
}
],
"truncated": false,
"cached": true
}
curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40758/parse+a+sitemap?url=https://example.com/&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY'
साइन अप करने के बाद, प्रत्येक डेवलपर को एक पर्सनल API एक्सेस की असाइन की जाती है, जो अक्षरों और अंकों का एक यूनिक संयोजन होता है, जिसका उपयोग हमारे API एंडपॉइंट तक पहुंचने के लिए किया जाता है। प्रमाणीकरण के लिए साइट क्रॉलर और साइटमैप API के साथ बस अपने बेयरर टोकन को Authorization हेडर में शामिल करें।
| हेडर | विवरण |
|---|---|
Authorization
|
आवश्यक
होना चाहिए Bearer access_key. जब आप सब्सक्राइब हों तो ऊपर "Your API Access Key" देखें।
|
कोई लंबी अवधि की प्रतिबद्धता नहीं। कभी भी अपग्रेड, डाउनग्रेड या कैंसल करें।
विनम्र रूप से उसी साइट को क्रॉल करना और साइटमैप को पार्स करना, साथ ही टूटे हुए आंतरिक लिंक की जानकारी देना
नहीं टाइमआउट और 400 401 403 और 429 अप्रमाणित हैं खराब नहीं
डिफ़ॉल्ट 50 अधिकतम सीमा 200 है यह वॉक लगभग 60 सेकंड बाद भी रुक जाता है और truncated को true पर सेट करता है
हाँ क्रॉल ब्रेड्थ-फर्स्ट है विनम्र है और robots.txt का सम्मान करता है
हाँ crawl endpoint पर include_sitemap=true सेट करें ताकि उन sitemap URLs की सूची मिले जिन्हें किसी भी क्रॉल किए गए पेज ने लिंक नहीं किया
क्रॉल रिपोर्ट कैश की जा सकती हैं कैश की गई क्रॉल रिपोर्ट को अनदेखा करने के लिए refresh=true पास करें