可索引性检查器 API

API ID 14369

在一次调用中检查Meta机器人 X-Robots-Tag 规范和robots.txt 适用于需要了解URL是否可以被谷歌索引的SEO团队 网站审计和发布工具以及CI管道

API 文档

端点

请求
获取页面 其robots.txt和规范目标 然后返回可索引性判决 与其Google文档基础的问题 和证据 跟随最多5个重定向 并读取前1 MB 具有10秒超时 结果缓存15分钟 fresh参数设置为1会绕过缓存 没有方案的值例如example.com被视为https
Endpoint ID: 36026
GET https://zylalabs.com/api/14369/indexability+checker+api/36026/check+whether+a+url+can+be+indexed+by+google
输入参数

检查一个网址是否可以被谷歌索引 — 端点功能

对象 描述
url 必需 Page to check, for example https://example.com. Aliases u, uri, link, target, site, website, domain and host are also accepted, case-insensitive.
userAgent 必需 Crawler whose robots.txt group and bot-specific directives are applied: googlebot (default), bingbot or any for all crawlers, returned as * in the response. Rules are always interpreted the way Google documents them. The page is always fetched with this API own user agent.
fresh 可选 Set to 1 to bypass the result cache.

剩余免费测试请求:3 / 3。


输入参数

url
userAgent
fresh
API 示例响应
JSON
{
    "url": "https://github.com/",
    "finalUrl": "https://github.com/",
    "statusCode": 200,
    "userAgent": "googlebot",
    "indexable": true,
    "verdict": "indexable",
    "reason": "No blocking signal was found (no noindex, crawling allowed, HTTP 2xx).",
    "canonicalizedTo": null,
    "grade": "A+",
    "score": 100,
    "summary": {
        "errors": 0,
        "warnings": 0,
        "infos": 0
    },
    "issues": [],
    "evidence": {
        "http": {
            "status": 200,
            "contentType": "text/html",
            "redirects": []
        },
        "xRobotsTag": {
            "present": false,
            "raw": null,
            "directives": []
        },
        "metaRobots": {
            "present": false,
            "tags": []
        },
        "canonical": {
            "found": true,
            "declarations": [
                {
                    "source": "html",
                    "href": "https://github.com",
                    "resolved": "https://github.com/"
                }
            ],
            "target": "https://github.com/",
            "relation": "self",
            "pointsTo": "self"
        },
        "robotsTxt": {
            "checked": true,
            "url": "https://github.com/robots.txt",
            "httpStatus": 200,
            "userAgentGroup": "*",
            "rulesInGroup": 165,
            "crawlAllowed": true,
            "matchedRule": null,
            "truncated": false
        }
    },
    "cached": false,
    "checkedAt": "2026-10-20T19:59:11.612Z",
    "note": "Reports the indexing signals the page and its server declare (HTTP status, X-Robots-Tag, meta robots, canonical, robots.txt). It does not query Google's index, does not render JavaScript (tags added by scripts are not seen), does not detect soft 404s, and is not a guarantee that Google will or will not index the page. The page is fetched with this API's own user agent; userAgent only selects which rules are applied."
}
检查一个网址是否可以被谷歌索引 — 代码片段

curl --location --request GET 'https://zylalabs.com/api/14369/indexability+checker+api/36026/check+whether+a+url+can+be+indexed+by+google?url=https://github.com&userAgent=googlebot' --header 'Authorization: Bearer YOUR_API_KEY' 


    

API 访问密钥和身份验证

注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 可索引性检查器 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。

标头
标头 描述
授权 必需 应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。

无长期承诺。随时升级、降级或取消。 免费试用包括最多 50 个请求。

起价
$10,000/年


  • 自定义数量
  • 自定义速率限制
  • 专业客户支持
  • 实时 API 监控

概览

元机器人、X-Robots-Tag、规范和robots.txt检查在一次调用中完成。为SEO团队、网站审核和发布工具以及需要了解URL是否可以被Google索引的CI管道构建,如果不能,则指明阻止它的声明信号。每个发现都有一个稳定的代码、具体证据和与之相关的Google文档页面,以及离线模式可以检查暂存页面。它返回JSON,其中包含裁决、评级和问题代码。 一个GET请求,一个评分的JSON报告。提供一个URL(无方案值,如example.com视为https),它可以获取页面(最多5次重定向,前1 MB,10秒超时,私有网络拒绝)以及网站的robots.txt,并且当页面在其他地方规范化时,提供规范目标(一次跳转)。然后,它报告是否可索引(true、false或未确定时为null),裁决和原因,以及证据:HTTP状态和重定向链、X-Robots-Tag指令(noindex、none、nofollow、noarchive、nosnippet、unavailable_after、特定于机器人的表单如googlebot: noindex)、元机器人和元googlebot指令、来自HTML头的rel=canonical及Link头(self、other、missing、multiple、conflicting、相对URL解析)并检查规范目标是否以正确状态响应,且不是noindex或重定向,以及使用Google规则的robots.txt决定(用户代理组选择、最长匹配优胜、允许赢得平局、通配符和结束锚)。每个问题都有一个严重性(错误、警告、信息)、一个稳定的代码、一个包含具体证据的英文消息,以及一个链接到其基础的Google搜索中心页面。评级使用与GlowHalo其他检查API相同的方案:100减去每个错误25,警告10,信息1(最多5),映射到A+ 97,A 90,B 80,C 70,D 60,F。可选的userAgent=googlebot(默认)、bingbot或任意选择应用哪个robots.txt组和哪个特定于机器人的指令;规则本身始终按照Google的文档解释。可索引字段和裁决承载决策,评级只是总结发现的数量:单个noindex、404或不可确定的403各得75分。 /v1/validate对您发送的数据执行相同的离线分析:页面HTML、响应头、robots.txt文本、URL和状态。不会抓取任何内容,因此在暂存、受密码保护或尚未发布的页面上均可工作。正文限制为512 KB。不与Google关联。 它不做的事情:它检查页面及其服务器声明的信号。它不查询Google的索引,因此无法判断URL当前是否被索引,且干净报告并不保证Google将索引该页面(质量、重复、爬取预算和手动操作不在其内)。它不渲染JavaScript,因此由脚本添加的机器人标签或规范标签不会被看到。它不检测软404页面。仅对同一站点目标进行规范目标的robots.txt检查。裁决blocked_by_robots_txt和问题代码robots_txt_blocked描述相同的情况。页面是用此API自己的用户代理抓取的,而不是Googlebot,因此向爬虫提供不同服务或阻止未知代理的网站对Google看起来可能不同;userAgent仅选择应用哪些规则。robots.txt仅对最终URL进行评估,而不针对每次重定向跳转。当一条X-Robots-Tag标头行包含多个特定于机器人的组时,它们从左到右读取。结果缓存15分钟;传递fresh=1以绕过。 问题代码(版本1.x的列表完整;代码在1.x内不会重命名或删除,可能会添加新代码)。错误:robots_txt_blocked、noindex_x_robots_tag、noindex_meta_robots、unavailable_after_expired、http_not_found、http_gone、http_client_error、http_access_denied、http_rate_limited、http_server_error、redirect_not_followable。http_access_denied、http_rate_limited和http_server_error使可索引为null,robots_txt_unavailable和robots_txt_unreachable也是如此。警告:noindex_unseen_due_to_robots、robots_txt_noindex_unsupported、robots_txt_unavailable、robots_txt_unreachable、unknown_robots_directive、unavailable_after_invalid、empty_response、canonical_points_elsewhere、canonical_conflict、canonical_empty、canonical_invalid、canonical_target_redirects、canonical_target_error、canonical_target_noindex、canonical_target_points_elsewhere、canonical_target_blocked_by_robots。信息:redirected、non_html_content、noindex_for_other_bot、unavailable_after_set、nofollow_directive、noarchive_directive、nosnippet_directive、html_truncated、canonical_missing、canonical_relative、canonical_duplicate、canonical_target_not_checked。 裁决值:可索引、规范化在其他地方(没有阻止信号但rel=canonical指向另一个URL)、被robots_txt阻止、noindex、http错误、unavailable_after_expired、未确定。

可索引性检查器 API FAQs

HTTP状态和重定向 X-Robots-Tag指令 meta robots和meta googlebot标签 rel=canonical来自HTML头和Link头 以及使用Google匹配规则(最长匹配优先 允许获胜平局 通配符和结束锚点)的URL的robots.txt决策

当未找到阻止信号时,indexable为真;当找到noindex、robots.txt阻止、错误状态或过期的unavailable_after时,indexable为假;当无法确定结果时,例如当服务器返回403或robots.txt不可访问时,indexable为null

不 它检查页面及其服务器声明的信号 它不查询谷歌的索引 不渲染JavaScript 也不检测软404页面 所以干净的报告并不能保证谷歌会索引该页面

使用可选的 userAgent 参数与 googlebot(默认)、bingbot 或其他选择应用哪个 robots.txt 组和特定于机器人的指令 结果缓存 15 分钟 添加 fresh=1 以绕过缓存

是的 没有像 example.com 这样的方案的值被视为 https API 跟踪最多 5 个重定向 读取页面的前 1 MB 超时为 10 秒 并拒绝私有网络地址

一般常见问题

Zyla API Hub 就像一个大型 API 商店,您可以在一个地方找到数千个 API。我们还为所有 API 提供专门支持和实时监控。注册后,您可以选择要使用的 API。请记住,每个 API 都需要自己的订阅。但如果您订阅多个 API,您将为所有这些 API 使用相同的密钥,使事情变得更简单。
价格以 USD(美元)、EUR(欧元)、CAD(加元)、AUD(澳元)和 GBP(英镑)列出。我们接受所有主要的借记卡和信用卡。我们的支付系统使用最新的安全技术,由 Stripe 提供支持,Stripe 是世界上最可靠的支付公司之一。如果您在使用卡片付款时遇到任何问题,请通过 [email protected]

此外,如果您已经以这些货币中的任何一种(USD、EUR、CAD、AUD、GBP)拥有有效订阅,该货币将保留用于后续订阅。只要您没有任何有效订阅,您可以随时更改货币。
定价页面上显示的本地货币基于您 IP 地址的国家/地区,仅供参考。实际价格以 USD(美元)为单位。当您付款时,即使您在我们的网站上看到以本地货币显示的等值金额,您的卡片对账单上也会以美元显示费用。这意味着您不能直接使用本地货币付款。
有时,银行可能会因其欺诈保护设置而拒绝收费。我们建议您首先联系您的银行,检查他们是否阻止了我们的收费。此外,您可以访问账单门户并更改关联的卡片以进行付款。如果这些方法不起作用并且您需要进一步帮助,请通过 [email protected]
价格由月度或年度订阅决定,具体取决于所选计划。
API 调用根据成功请求从您的计划中扣除。每个计划都包含您每月可以进行的特定数量的调用。只有成功的调用(由状态 200 响应指示)才会计入您的总数。这确保失败或不完整的请求不会影响您的月度配额。
Zyla API Hub 采用月度订阅系统。您的计费周期将从您购买付费计划的那一天开始,并在下个月的同一日期续订。因此,如果您想避免未来的费用,请提前取消订阅。
要升级您当前的订阅计划,只需转到 API 的定价页面并选择您要升级到的计划。升级将立即生效,让您立即享受新计划的功能。请注意,您之前计划中的任何剩余调用都不会转移到新计划,因此在升级时请注意这一点。您将被收取新计划的全部金额。
要检查您本月剩余多少 API 调用,请参考响应标头中的 "X-Zyla-API-Calls-Monthly-Remaining" 字段。例如,如果您的计划允许每月 1,000 个请求,而您已使用 100 个,则响应标头中的此字段将显示 900 个剩余调用。
要查看您的计划允许的最大 API 请求数,请检查 "X-Zyla-RateLimit-Limit" 响应标头。例如,如果您的计划包括每月 1,000 个请求,此标头将显示 1,000。
"X-Zyla-RateLimit-Reset" 标头显示您的速率限制重置之前的秒数。这告诉您何时您的请求计数将重新开始。例如,如果它显示 3,600,则意味着还有 3,600 秒直到限制重置。
是的,您可以随时通过访问您的账户并在账单页面上选择取消选项来取消您的计划。请注意,升级、降级和取消会立即生效。此外,取消后,您将不再有权访问该服务,即使您的配额中还有剩余调用。
为了让您有机会在没有任何承诺的情况下体验我们的 API,我们提供 7 天免费试用,允许您免费进行最多 50 次 API 调用。此试用只能使用一次,因此我们建议将其应用于您最感兴趣的 API。虽然我们的大多数 API 都提供免费试用,但有些可能不提供。试用在 7 天后或您进行了 50 次请求后结束,以先发生者为准。如果您在试用期间达到 50 次请求限制,您需要"开始您的付费计划"以继续发出请求。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。或者,如果您在第 7 天之前不取消订阅,您的免费试用将结束,您的计划将自动计费,授予您访问计划中指定的所有 API 调用的权限。请记住这一点以避免不必要的费用。
7 天后,您将被收取试用期间订阅的计划的全额费用。因此,在试用期结束前取消很重要。因忘记及时取消而提出的退款请求不被接受。
当您订阅 API 免费试用时,您可以进行最多 50 次 API 调用。如果您希望超出此限制进行额外的 API 调用,API 将提示您执行"开始您的付费计划"。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。
付款订单在每月 20 日至 30 日之间处理。如果您在 20 日之前提交请求,您的付款将在此时间范围内处理。
您可以通过我们的聊天渠道联系我们以获得即时帮助。我们始终在线,时间为上午 8 点至下午 5 点(EST)。如果您在该时间之后联系我们,我们将尽快回复您。此外,您可以通过 [email protected]

相关 API