机器人和网站地图检查器 API

API ID 14047

给定一个单一域名,检查该站点的robots.txt(针对每个用户代理的爬虫允许/禁止规则、爬取延迟、声明的网站地图URL)和sitemap.xml(存在性、URL数量以及如果存在子网站地图的子网站地图数量)

539 ms 平均响应

API 文档

端点

请求
检查目标域的robots.txt和站点地图,返回爬取规则、站点地图网址数量和检测到的问题 结果缓存6小时
Endpoint ID: 34290
GET https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap
输入参数

剩余免费测试请求:3 / 3。


输入参数

此端点不需要任何输入参数。

API 示例响应
JSON
{
  "domain": "example.com",
  "robotsTxt": {
    "url": "https://example.com/robots.txt",
    "found": false,
    "statusCode": 404,
    "groups": [],
    "declaredSitemaps": []
  },
  "sitemap": {
    "source": "fallback_sitemap_xml",
    "results": [
      {
        "url": "https://example.com/sitemap.xml",
        "found": false,
        "statusCode": 404
      }
    ]
  },
  "issues": [
    {
      "code": "robots_missing",
      "severity": "info",
      "message": "robots.txt가 없습니다 — 기본적으로 전체 크롤링이 허용됩니다."
    },
    {
      "code": "no_sitemap_declared",
      "severity": "info",
      "message": "robots.txt에 Sitemap 필드가 선언되어 있지 않습니다 — /sitemap.xml 기본 경로만 확인했습니다."
    }
  ]
}
检查机器人文本和网站地图 — 代码片段

curl --location --request GET 'https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap' --header 'Authorization: Bearer YOUR_API_KEY' 


    

API 访问密钥和身份验证

注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 机器人和网站地图检查器 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。

标头
标头 描述
授权 必需 应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。

无长期承诺。随时升级、降级或取消。 免费试用包括最多 50 个请求。

起价
$10,000/年


  • 自定义数量
  • 自定义速率限制
  • 专业客户支持
  • 实时 API 监控

概览

给定一个域名,检查该站点的robots.txt(每个用户代理的爬取允许/不允许规则、爬取延迟、声明的站点地图URL)和sitemap.xml(存在性、URL数量以及如果是站点地图索引则为子站点地图数量),并返回结构化的JSON。常见错误如完全爬取阻塞(Disallow: /)或声明但无法访问的站点地图会在问题数组中自动标记。适用于SEO审计、站点迁移验证和预部署CI检查。robots.txt解析遵循RFC 9309(2022年IETF标准),站点地图计数为XML标签计数(列出每个单独的URL和解压gzip站点地图超出v1范围)。完全爬取阻塞检测基于通配符(*)用户代理组;仅针对特定爬虫的阻塞在v1中不会单独标记。这并不能替代全面的SEO审计或站点迁移质量检查。结果缓存6小时。

机器人和网站地图检查器 API FAQs

该端点返回结构化的JSON数据,包括robots.txt文件的状态、网站地图URL以及任何检测到的问题。它提供有关爬取规则、网站地图的存在、URL计数和标记常见错误的信息

关键字段包括 `domain`,`robotsTxt`(包含 `url`,`found`,`statusCode`,`groups` 和 `declaredSitemaps`),`sitemap`(包含 `source` 和 `results`),以及 `issues`(包含 `code`,`severity` 和 `message`)

响应分为三个主要部分:`domain`表示目标网站,`robotsTxt`表示爬虫规则和 sitemap 声明,以及`sitemap`表示网站地图状态。每个部分包含相关细节和发现的任何问题

该端点提供有关robots.txt文件的存在和状态、声明的站点地图、站点地图中的URL计数以及任何问题的信息,比如缺失文件或爬虫阻塞

用户可以通过在API调用中指定目标域来定制请求 该端点不需要额外的参数,使其对于任何域使用起来都很简单

典型的用例包括SEO审核 验证网站迁移 和进行部署前检查以确保正确的爬虫设置和网站地图的可访问性

数据准确性通过遵循RFC 9309标准进行robots.txt解析以及系统地检查网站地图URL的存在性和状态来保持

如果结果是部分或为空,用户应该检查响应中的`found`字段。如果为`false`,则表示未找到robots.txt或sitemap,需要进一步调查该域的配置

一般常见问题

Zyla API Hub 就像一个大型 API 商店,您可以在一个地方找到数千个 API。我们还为所有 API 提供专门支持和实时监控。注册后,您可以选择要使用的 API。请记住,每个 API 都需要自己的订阅。但如果您订阅多个 API,您将为所有这些 API 使用相同的密钥,使事情变得更简单。
价格以 USD(美元)、EUR(欧元)、CAD(加元)、AUD(澳元)和 GBP(英镑)列出。我们接受所有主要的借记卡和信用卡。我们的支付系统使用最新的安全技术,由 Stripe 提供支持,Stripe 是世界上最可靠的支付公司之一。如果您在使用卡片付款时遇到任何问题,请通过 [email protected]

此外,如果您已经以这些货币中的任何一种(USD、EUR、CAD、AUD、GBP)拥有有效订阅,该货币将保留用于后续订阅。只要您没有任何有效订阅,您可以随时更改货币。
定价页面上显示的本地货币基于您 IP 地址的国家/地区,仅供参考。实际价格以 USD(美元)为单位。当您付款时,即使您在我们的网站上看到以本地货币显示的等值金额,您的卡片对账单上也会以美元显示费用。这意味着您不能直接使用本地货币付款。
有时,银行可能会因其欺诈保护设置而拒绝收费。我们建议您首先联系您的银行,检查他们是否阻止了我们的收费。此外,您可以访问账单门户并更改关联的卡片以进行付款。如果这些方法不起作用并且您需要进一步帮助,请通过 [email protected]
价格由月度或年度订阅决定,具体取决于所选计划。
API 调用根据成功请求从您的计划中扣除。每个计划都包含您每月可以进行的特定数量的调用。只有成功的调用(由状态 200 响应指示)才会计入您的总数。这确保失败或不完整的请求不会影响您的月度配额。
Zyla API Hub 采用月度订阅系统。您的计费周期将从您购买付费计划的那一天开始,并在下个月的同一日期续订。因此,如果您想避免未来的费用,请提前取消订阅。
要升级您当前的订阅计划,只需转到 API 的定价页面并选择您要升级到的计划。升级将立即生效,让您立即享受新计划的功能。请注意,您之前计划中的任何剩余调用都不会转移到新计划,因此在升级时请注意这一点。您将被收取新计划的全部金额。
要检查您本月剩余多少 API 调用,请参考响应标头中的 "X-Zyla-API-Calls-Monthly-Remaining" 字段。例如,如果您的计划允许每月 1,000 个请求,而您已使用 100 个,则响应标头中的此字段将显示 900 个剩余调用。
要查看您的计划允许的最大 API 请求数,请检查 "X-Zyla-RateLimit-Limit" 响应标头。例如,如果您的计划包括每月 1,000 个请求,此标头将显示 1,000。
"X-Zyla-RateLimit-Reset" 标头显示您的速率限制重置之前的秒数。这告诉您何时您的请求计数将重新开始。例如,如果它显示 3,600,则意味着还有 3,600 秒直到限制重置。
是的,您可以随时通过访问您的账户并在账单页面上选择取消选项来取消您的计划。请注意,升级、降级和取消会立即生效。此外,取消后,您将不再有权访问该服务,即使您的配额中还有剩余调用。
为了让您有机会在没有任何承诺的情况下体验我们的 API,我们提供 7 天免费试用,允许您免费进行最多 50 次 API 调用。此试用只能使用一次,因此我们建议将其应用于您最感兴趣的 API。虽然我们的大多数 API 都提供免费试用,但有些可能不提供。试用在 7 天后或您进行了 50 次请求后结束,以先发生者为准。如果您在试用期间达到 50 次请求限制,您需要"开始您的付费计划"以继续发出请求。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。或者,如果您在第 7 天之前不取消订阅,您的免费试用将结束,您的计划将自动计费,授予您访问计划中指定的所有 API 调用的权限。请记住这一点以避免不必要的费用。
7 天后,您将被收取试用期间订阅的计划的全额费用。因此,在试用期结束前取消很重要。因忘记及时取消而提出的退款请求不被接受。
当您订阅 API 免费试用时,您可以进行最多 50 次 API 调用。如果您希望超出此限制进行额外的 API 调用,API 将提示您执行"开始您的付费计划"。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。
付款订单在每月 20 日至 30 日之间处理。如果您在 20 日之前提交请求,您的付款将在此时间范围内处理。
您可以通过我们的聊天渠道联系我们以获得即时帮助。我们始终在线,时间为上午 8 点至下午 5 点(EST)。如果您在该时间之后联系我们,我们将尽快回复您。此外,您可以通过 [email protected]

相关 API


您可能还喜欢