robots.txt和XML网站地图不一致检查器 API

API ID 14202

审核robots.txt指令(禁止 允许 爬行延迟)与XML网站地图URL的对比。识别被屏蔽的网站地图URL 缺失的网站地图和索引差异

API 文档

端点

请求
“执行机器人txt和XML网站地图差异检查器API”端点旨在分析和比较网站的robots.txt文件中指定的指令与其XML网站地图中列出的URL。此API有助于识别差异,例如robots.txt中被阻止的URL出现在网站地图中,这可能导致搜索引擎索引问题。通过处理来自两个文件的提供的URL,它返回一份全面的报告,详细说明任何不一致之处,帮助网站管理员和SEO专业人士确保搜索引擎正确索引和抓取其网站上预期的页面。潜在的使用案例包括优化网站的SEO策略、排查索引问题以及确保符合搜索引擎指南
Endpoint ID: 35257
POST https://zylalabs.com/api/14202/robotstxt+and+xml+sitemap+discrepancy+checker+api/35257/execute+robotstxt+and+xml+sitemap+discrepancy+checker+api
输入参数

执行Robotstxt和XML网站地图差异检查器 — 端点功能

对象 描述
请求体 必需 Json

剩余免费测试请求:3 / 3。


输入参数

API 示例响应
JSON
[
    {
        "id": "robots-txt-sitemap-api_1000",
        "service": "robots-txt-sitemap-api",
        "title": "ROBOTS TXT SITEMAP Record #1",
        "status": "VERIFIED_ACTIVE",
        "result": "Processed query successfully for robots-txt-sitemap-api",
        "inputReceived": {
            "domainsOrUrls": [
                "https://apify.com"
            ],
            "maxUrlsToAudit": 30
        },
        "data": {
            "index": 1,
            "relevanceScore": 0.95,
            "summary": "High-fidelity structured response for ROBOTS TXT SITEMAP query parameter extraction.",
            "attributes": {
                "region": "Global",
                "category": "ROBOTS",
                "timestamp": "2026-10-12T11:59:01.406Z"
            }
        },
        "timestamp": "2026-10-12T11:59:01.406Z"
    },
    {
        "id": "robots-txt-sitemap-api_1001",
        "service": "robots-txt-sitemap-api",
        "title": "ROBOTS TXT SITEMAP Record #2",
        "status": "VERIFIED_ACTIVE",
        "result": "Processed query successfully for robots-txt-sitemap-api",
        "inputReceived": {
            "domainsOrUrls": [
                "https://apify.com"
            ],
            "maxUrlsToAudit": 30
        },
        "data": {
            "index": 2,
            "relevanceScore": 0.8999999999999999,
            "summary": "High-fidelity structured response for ROBOTS TXT SITEMAP query parameter extraction.",
            "attributes": {
                "region": "Global",
                "category": "ROBOTS",
                "timestamp": "2026-10-12T11:59:01.406Z"
            }
        },
        "timestamp": "2026-10-12T11:59:01.406Z"
    },
    {
        "id": "robots-txt-sitemap-api_1002",
        "service": "robots-txt-sitemap-api",
        "title": "ROBOTS TXT SITEMAP Record #3",
        "status": "VERIFIED_ACTIVE",
        "result": "Processed query successfully for robots-txt-sitemap-api",
        "inputReceived": {
            "domainsOrUrls": [
                "https://apify.com"
            ],
            "maxUrlsToAudit": 30
        },
        "data": {
            "index": 3,
            "relevanceScore": 0.85,
            "summary": "High-fidelity structured response for ROBOTS TXT SITEMAP query parameter extraction.",
            "attributes": {
                "region": "Global",
                "category": "ROBOTS",
                "timestamp": "2026-10-12T11:59:01.406Z"
            }
        },
        "timestamp": "2026-10-12T11:59:01.406Z"
    },
    {
        "id": "robots-txt-sitemap-api_1003",
        "service": "robots-txt-sitemap-api",
        "title": "ROBOTS TXT SITEMAP Record #4",
        "status": "VERIFIED_ACTIVE",
        "result": "Processed query successfully for robots-txt-sitemap-api",
        "inputReceived": {
            "domainsOrUrls": [
                "https://apify.com"
            ],
            "maxUrlsToAudit": 30
        },
        "data": {
            "index": 4,
            "relevanceScore": 0.7999999999999999,
            "summary": "High-fidelity structured response for ROBOTS TXT SITEMAP query parameter extraction.",
            "attributes": {
                "region": "Global",
                "category": "ROBOTS",
                "timestamp": "2026-10-12T11:59:01.406Z"
            }
        },
        "timestamp": "2026-10-12T11:59:01.406Z"
    },
    {
        "id": "robots-txt-sitemap-api_1004",
        "service": "robots-txt-sitemap-api",
        "title": "ROBOTS TXT SITEMAP Record #5",
        "status": "VERIFIED_ACTIVE",
        "result": "Processed query successfully for robots-txt-sitemap-api",
        "inputReceived": {
            "domainsOrUrls": [
                "https://apify.com"
            ],
            "maxUrlsToAudit": 30
        },
        "data": {
            "index": 5,
            "relevanceScore": 0.75,
            "summary": "High-fidelity structured response for ROBOTS TXT SITEMAP query parameter extraction.",
            "attributes": {
                "region": "Global",
                "category": "ROBOTS",
                "timestamp": "2026-10-12T11:59:01.406Z"
            }
        },
        "timestamp": "2026-10-12T11:59:01.406Z"
    }
]
执行Robotstxt和XML网站地图差异检查器 — 代码片段

curl --location --request POST 'https://zylalabs.com/api/14202/robotstxt+and+xml+sitemap+discrepancy+checker+api/35257/execute+robotstxt+and+xml+sitemap+discrepancy+checker+api' --header 'Authorization: Bearer YOUR_API_KEY' 

--data-raw '{"domainsOrUrls":["https://apify.com"],"maxUrlsToAudit":30}'

    

API 访问密钥和身份验证

注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 robots.txt和XML网站地图不一致检查器 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。

标头
标头 描述
授权 必需 应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。

无长期承诺。随时升级、降级或取消。 免费试用包括最多 50 个请求。

(年度计费可节省 2 个月 🎉)

起价
$10,000/年


  • 自定义数量
  • 自定义速率限制
  • 专业客户支持
  • 实时 API 监控

概览

审核robots.txt指令(不允许、允许、爬行延迟)与XML网站地图URL的关系。识别被阻止的网站地图URL、缺失的网站地图和索引差异

robots.txt和XML网站地图不一致检查器 API FAQs

该API返回一份详细报告,列出了robots.txt指令与XML网站地图中列出的URL之间的差异。这包括有关被阻止的URL、缺失的站点地图和索引问题的信息,帮助用户识别潜在的SEO问题

响应中的关键字段包括“id”“service”“title”“status”“result”“inputReceived”和“data”“data”字段包含像“relevanceScore”“summary”和“timestamp”这样的属性,提供关于审计结果的见解

响应数据结构为一个对象数组,每个对象代表一个审核记录。每个对象包含有关审计的元数据,包括状态和结果,以及处理的 URL 及发现的任何差异的详细信息

API提供了关于URL与robots.txt指令相关状态的信息,包括URL是否被阻止或允许、索引中的差异以及审核结果的总结,这些对于SEO优化至关重要

用户可以通过指定参数如“domainsOrUrls”来表明要审计的网站以及“maxUrlsToAudit”来限制处理的URL数量,从而根据特定需求进行量身定制的审计

典型的使用案例包括优化SEO策略 解决索引问题 确保遵守搜索引擎指南 识别可能影响网站在搜索结果中可见性的差异

数据准确性通过对robots.txt文件和XML网站地图的系统审计得以维持,确保API实时检查与最新指令和网站地图条目之间的差异,从而提供可靠的结果

用户可以期待指示 URL 是否为“已验证_活动”或被阻止的模式,连同相关性评分和突出差异性质的摘要。这种结构化的反馈有助于快速识别和解决 SEO 问题

一般常见问题

Zyla API Hub 就像一个大型 API 商店,您可以在一个地方找到数千个 API。我们还为所有 API 提供专门支持和实时监控。注册后,您可以选择要使用的 API。请记住,每个 API 都需要自己的订阅。但如果您订阅多个 API,您将为所有这些 API 使用相同的密钥,使事情变得更简单。
价格以 USD(美元)、EUR(欧元)、CAD(加元)、AUD(澳元)和 GBP(英镑)列出。我们接受所有主要的借记卡和信用卡。我们的支付系统使用最新的安全技术,由 Stripe 提供支持,Stripe 是世界上最可靠的支付公司之一。如果您在使用卡片付款时遇到任何问题,请通过 [email protected]

此外,如果您已经以这些货币中的任何一种(USD、EUR、CAD、AUD、GBP)拥有有效订阅,该货币将保留用于后续订阅。只要您没有任何有效订阅,您可以随时更改货币。
定价页面上显示的本地货币基于您 IP 地址的国家/地区,仅供参考。实际价格以 USD(美元)为单位。当您付款时,即使您在我们的网站上看到以本地货币显示的等值金额,您的卡片对账单上也会以美元显示费用。这意味着您不能直接使用本地货币付款。
有时,银行可能会因其欺诈保护设置而拒绝收费。我们建议您首先联系您的银行,检查他们是否阻止了我们的收费。此外,您可以访问账单门户并更改关联的卡片以进行付款。如果这些方法不起作用并且您需要进一步帮助,请通过 [email protected]
价格由月度或年度订阅决定,具体取决于所选计划。
API 调用根据成功请求从您的计划中扣除。每个计划都包含您每月可以进行的特定数量的调用。只有成功的调用(由状态 200 响应指示)才会计入您的总数。这确保失败或不完整的请求不会影响您的月度配额。
Zyla API Hub 采用月度订阅系统。您的计费周期将从您购买付费计划的那一天开始,并在下个月的同一日期续订。因此,如果您想避免未来的费用,请提前取消订阅。
要升级您当前的订阅计划,只需转到 API 的定价页面并选择您要升级到的计划。升级将立即生效,让您立即享受新计划的功能。请注意,您之前计划中的任何剩余调用都不会转移到新计划,因此在升级时请注意这一点。您将被收取新计划的全部金额。
要检查您本月剩余多少 API 调用,请参考响应标头中的 "X-Zyla-API-Calls-Monthly-Remaining" 字段。例如,如果您的计划允许每月 1,000 个请求,而您已使用 100 个,则响应标头中的此字段将显示 900 个剩余调用。
要查看您的计划允许的最大 API 请求数,请检查 "X-Zyla-RateLimit-Limit" 响应标头。例如,如果您的计划包括每月 1,000 个请求,此标头将显示 1,000。
"X-Zyla-RateLimit-Reset" 标头显示您的速率限制重置之前的秒数。这告诉您何时您的请求计数将重新开始。例如,如果它显示 3,600,则意味着还有 3,600 秒直到限制重置。
是的,您可以随时通过访问您的账户并在账单页面上选择取消选项来取消您的计划。请注意,升级、降级和取消会立即生效。此外,取消后,您将不再有权访问该服务,即使您的配额中还有剩余调用。
为了让您有机会在没有任何承诺的情况下体验我们的 API,我们提供 7 天免费试用,允许您免费进行最多 50 次 API 调用。此试用只能使用一次,因此我们建议将其应用于您最感兴趣的 API。虽然我们的大多数 API 都提供免费试用,但有些可能不提供。试用在 7 天后或您进行了 50 次请求后结束,以先发生者为准。如果您在试用期间达到 50 次请求限制,您需要"开始您的付费计划"以继续发出请求。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。或者,如果您在第 7 天之前不取消订阅,您的免费试用将结束,您的计划将自动计费,授予您访问计划中指定的所有 API 调用的权限。请记住这一点以避免不必要的费用。
7 天后,您将被收取试用期间订阅的计划的全额费用。因此,在试用期结束前取消很重要。因忘记及时取消而提出的退款请求不被接受。
当您订阅 API 免费试用时,您可以进行最多 50 次 API 调用。如果您希望超出此限制进行额外的 API 调用,API 将提示您执行"开始您的付费计划"。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。
付款订单在每月 20 日至 30 日之间处理。如果您在 20 日之前提交请求,您的付款将在此时间范围内处理。
您可以通过我们的聊天渠道联系我们以获得即时帮助。我们始终在线,时间为上午 8 点至下午 5 点(EST)。如果您在该时间之后联系我们,我们将尽快回复您。此外,您可以通过 [email protected]

相关 API


您可能还喜欢