{
"domain": "example.com",
"robotsTxt": {
"url": "https://example.com/robots.txt",
"found": false,
"statusCode": 404,
"groups": [],
"declaredSitemaps": []
},
"sitemap": {
"source": "fallback_sitemap_xml",
"results": [
{
"url": "https://example.com/sitemap.xml",
"found": false,
"statusCode": 404
}
]
},
"issues": [
{
"code": "robots_missing",
"severity": "info",
"message": "robots.txt가 없습니다 — 기본적으로 전체 크롤링이 허용됩니다."
},
{
"code": "no_sitemap_declared",
"severity": "info",
"message": "robots.txt에 Sitemap 필드가 선언되어 있지 않습니다 — /sitemap.xml 기본 경로만 확인했습니다."
}
]
}
curl --location --request GET 'https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap' --header 'Authorization: Bearer YOUR_API_KEY'
注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 机器人和网站地图检查器 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。
| 标头 | 描述 |
|---|---|
授权
|
必需
应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。
|
该端点返回结构化的JSON数据,包括robots.txt文件的状态、网站地图URL以及任何检测到的问题。它提供有关爬取规则、网站地图的存在、URL计数和标记常见错误的信息
关键字段包括 `domain`,`robotsTxt`(包含 `url`,`found`,`statusCode`,`groups` 和 `declaredSitemaps`),`sitemap`(包含 `source` 和 `results`),以及 `issues`(包含 `code`,`severity` 和 `message`)
响应分为三个主要部分:`domain`表示目标网站,`robotsTxt`表示爬虫规则和 sitemap 声明,以及`sitemap`表示网站地图状态。每个部分包含相关细节和发现的任何问题
该端点提供有关robots.txt文件的存在和状态、声明的站点地图、站点地图中的URL计数以及任何问题的信息,比如缺失文件或爬虫阻塞
用户可以通过在API调用中指定目标域来定制请求 该端点不需要额外的参数,使其对于任何域使用起来都很简单
典型的用例包括SEO审核 验证网站迁移 和进行部署前检查以确保正确的爬虫设置和网站地图的可访问性
数据准确性通过遵循RFC 9309标准进行robots.txt解析以及系统地检查网站地图URL的存在性和状态来保持
如果结果是部分或为空,用户应该检查响应中的`found`字段。如果为`false`,则表示未找到robots.txt或sitemap,需要进一步调查该域的配置