{
"url": "https://example.com/",
"final_url": "https://example.com/",
"host": "example.com",
"truncated": false,
"elapsed_ms": 51,
"robots": {
"present": false,
"status_code": 404,
"error": null
},
"summary": {
"pages_crawled": 1,
"pages_ok": 1,
"broken_internal": 0,
"unverified": 0,
"redirects": 0,
"orphans": 0,
"external_checked": 0,
"max_pages": 5,
"max_depth": 1
},
"pages": [
{
"url": "https://example.com/",
"final_url": "https://example.com/",
"status": 200,
"title": "Example Domain",
"depth": 0,
"inbound": 0,
"kind": "ok",
"reason": null,
"error": null,
"redirect_chain": [
{
"url": "https://example.com/",
"status_code": 200
}
]
}
],
"broken_internal_links": [],
"unverified_links": [],
"external_links": [],
"orphans": [],
"sitemap": null,
"cached": true
}
curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40757/crawl+a+site?url=https://example.com/&max_pages=5&max_depth=1&same_host_only=true&check_external=false&include_sitemap=false&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY'
{
"url": "https://example.com/",
"sitemaps": [
{
"url": "https://example.com/sitemap.xml",
"type": "invalid",
"count": 0,
"status_code": 404
}
],
"urls": [],
"counts": {
"urls": 0,
"sitemaps": 1,
"children_fetched": 1
},
"issues": [
{
"url": "https://example.com/sitemap.xml",
"issue": "http_404"
}
],
"truncated": false,
"cached": true
}
curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40758/parse+a+sitemap?url=https://example.com/&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY'
注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 网站爬虫和站点地图 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。
| 标头 | 描述 |
|---|---|
授权
|
必需
应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。
|
礼貌地抓取同一站点并解析站点地图,同时标出失效的内部链接
不。超时以及 400、401、403 和 429 均未经验证,并非失效。仅限令牌。
默认值为 50,硬性上限为 200。遍历也会在大约 60 秒后停止,并将 truncated 设为 true】【。
是的。爬取采用广度优先方式,遵守礼貌原则,并尊重 robots.txt】【。
是的。在 crawl 端点上设置 include_sitemap=true,以列出没有任何已爬取页面链接到的站点地图 URL】【。
爬取报告可以缓存。传入 refresh=true 以忽略缓存的爬取报告】【。