网站爬虫和站点地图 API

API ID 15233

礼貌地抓取同一网站并解析站点地图,同时指出失效的内部链接

API 文档

端点

请求
以广度优先方式抓取公共网站,遵守 robots.txt,并返回页面状态以及失效的站内链接
Endpoint ID: 40757
GET https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40757/crawl+a+site
输入参数

抓取一个网站 — 端点功能

对象 描述
url 必需 Crawl start. Only http and https. A bare host is treated as https.
max_pages 可选 Maximum HTML pages to fetch. Default 50. Hard maximum 200.
max_depth 可选 Link depth from the start URL. The start page is depth 0. Default 3, maximum 8.
same_host_only 可选 Stay on the start host. www and the apex count as the same host. Default true.
check_external 可选 Probe off-site links. They are classified, not crawled. Default false.
include_sitemap 可选 Parse the sitemap and list URLs that no crawled page linked to. Default false.
refresh 可选 Ignore the cached crawl report. Default false.

剩余免费测试请求:3 / 3。


输入参数

url
max_pages
max_depth
same_host_only
check_external
include_sitemap
refresh
API 示例响应
JSON
{
    "url": "https://example.com/",
    "final_url": "https://example.com/",
    "host": "example.com",
    "truncated": false,
    "elapsed_ms": 51,
    "robots": {
        "present": false,
        "status_code": 404,
        "error": null
    },
    "summary": {
        "pages_crawled": 1,
        "pages_ok": 1,
        "broken_internal": 0,
        "unverified": 0,
        "redirects": 0,
        "orphans": 0,
        "external_checked": 0,
        "max_pages": 5,
        "max_depth": 1
    },
    "pages": [
        {
            "url": "https://example.com/",
            "final_url": "https://example.com/",
            "status": 200,
            "title": "Example Domain",
            "depth": 0,
            "inbound": 0,
            "kind": "ok",
            "reason": null,
            "error": null,
            "redirect_chain": [
                {
                    "url": "https://example.com/",
                    "status_code": 200
                }
            ]
        }
    ],
    "broken_internal_links": [],
    "unverified_links": [],
    "external_links": [],
    "orphans": [],
    "sitemap": null,
    "cached": true
}
抓取一个网站 — 代码片段

curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40757/crawl+a+site?url=https://example.com/&max_pages=5&max_depth=1&same_host_only=true&check_external=false&include_sitemap=false&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY' 


    
请求
获取站点地图或从网页 URL 中发现站点地图,展开索引,并返回 URL、数量和验证问题
Endpoint ID: 40758
GET https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40758/parse+a+sitemap
输入参数

解析站点地图 — 端点功能

对象 描述
url 必需 A page URL or a sitemap URL. Only http and https.
refresh 可选 Ignore the cached result and fetch again. Default false.

剩余免费测试请求:3 / 3。


输入参数

url
refresh
API 示例响应
JSON
{
    "url": "https://example.com/",
    "sitemaps": [
        {
            "url": "https://example.com/sitemap.xml",
            "type": "invalid",
            "count": 0,
            "status_code": 404
        }
    ],
    "urls": [],
    "counts": {
        "urls": 0,
        "sitemaps": 1,
        "children_fetched": 1
    },
    "issues": [
        {
            "url": "https://example.com/sitemap.xml",
            "issue": "http_404"
        }
    ],
    "truncated": false,
    "cached": true
}
解析站点地图 — 代码片段

curl --location --request GET 'https://zylalabs.com/api/15233/site+crawler+and+sitemap+api/40758/parse+a+sitemap?url=https://example.com/&refresh=false' --header 'Authorization: Bearer YOUR_API_KEY' 


    

API 访问密钥和身份验证

注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 网站爬虫和站点地图 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。

标头
标头 描述
授权 必需 应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。

无长期承诺。随时升级、降级或取消。

起价
$10,000/年


  • 自定义数量
  • 自定义速率限制
  • 专业客户支持
  • 实时 API 监控

概览

礼貌地抓取同一站点并解析站点地图,同时标出失效的内部链接

网站爬虫和站点地图 API FAQs

不。超时以及 400、401、403 和 429 均未经验证,并非失效。仅限令牌。

默认值为 50,硬性上限为 200。遍历也会在大约 60 秒后停止,并将 truncated 设为 true】【。

是的。爬取采用广度优先方式,遵守礼貌原则,并尊重 robots.txt】【。

是的。在 crawl 端点上设置 include_sitemap=true,以列出没有任何已爬取页面链接到的站点地图 URL】【。

爬取报告可以缓存。传入 refresh=true 以忽略缓存的爬取报告】【。

一般常见问题

Zyla API Hub 就像一个大型 API 商店,您可以在一个地方找到数千个 API。我们还为所有 API 提供专门支持和实时监控。注册后,您可以选择要使用的 API。请记住,每个 API 都需要自己的订阅。但如果您订阅多个 API,您将为所有这些 API 使用相同的密钥,使事情变得更简单。
价格以 USD(美元)、EUR(欧元)、CAD(加元)、AUD(澳元)和 GBP(英镑)列出。我们接受所有主要的借记卡和信用卡。我们的支付系统使用最新的安全技术,由 Stripe 提供支持,Stripe 是世界上最可靠的支付公司之一。如果您在使用卡片付款时遇到任何问题,请通过 [email protected]

此外,如果您已经以这些货币中的任何一种(USD、EUR、CAD、AUD、GBP)拥有有效订阅,该货币将保留用于后续订阅。只要您没有任何有效订阅,您可以随时更改货币。
定价页面上显示的本地货币基于您 IP 地址的国家/地区,仅供参考。实际价格以 USD(美元)为单位。当您付款时,即使您在我们的网站上看到以本地货币显示的等值金额,您的卡片对账单上也会以美元显示费用。这意味着您不能直接使用本地货币付款。
有时,银行可能会因其欺诈保护设置而拒绝收费。我们建议您首先联系您的银行,检查他们是否阻止了我们的收费。此外,您可以访问账单门户并更改关联的卡片以进行付款。如果这些方法不起作用并且您需要进一步帮助,请通过 [email protected]
价格由月度或年度订阅决定,具体取决于所选计划。
API 调用根据成功请求从您的计划中扣除。每个计划都包含您每月可以进行的特定数量的调用。只有成功的调用(由状态 200 响应指示)才会计入您的总数。这确保失败或不完整的请求不会影响您的月度配额。
Zyla API Hub 采用月度订阅系统。您的计费周期将从您购买付费计划的那一天开始,并在下个月的同一日期续订。因此,如果您想避免未来的费用,请提前取消订阅。
要升级您当前的订阅计划,只需转到 API 的定价页面并选择您要升级到的计划。升级将立即生效,让您立即享受新计划的功能。请注意,您之前计划中的任何剩余调用都不会转移到新计划,因此在升级时请注意这一点。您将被收取新计划的全部金额。
要检查您本月剩余多少 API 调用,请参考响应标头中的 "X-Zyla-API-Calls-Monthly-Remaining" 字段。例如,如果您的计划允许每月 1,000 个请求,而您已使用 100 个,则响应标头中的此字段将显示 900 个剩余调用。
要查看您的计划允许的最大 API 请求数,请检查 "X-Zyla-RateLimit-Limit" 响应标头。例如,如果您的计划包括每月 1,000 个请求,此标头将显示 1,000。
"X-Zyla-RateLimit-Reset" 标头显示您的速率限制重置之前的秒数。这告诉您何时您的请求计数将重新开始。例如,如果它显示 3,600,则意味着还有 3,600 秒直到限制重置。
是的,您可以随时通过访问您的账户并在账单页面上选择取消选项来取消您的计划。请注意,升级、降级和取消会立即生效。此外,取消后,您将不再有权访问该服务,即使您的配额中还有剩余调用。
为了让您有机会在没有任何承诺的情况下体验我们的 API,我们提供 7 天免费试用,允许您免费进行最多 50 次 API 调用。此试用只能使用一次,因此我们建议将其应用于您最感兴趣的 API。虽然我们的大多数 API 都提供免费试用,但有些可能不提供。试用在 7 天后或您进行了 50 次请求后结束,以先发生者为准。如果您在试用期间达到 50 次请求限制,您需要"开始您的付费计划"以继续发出请求。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。或者,如果您在第 7 天之前不取消订阅,您的免费试用将结束,您的计划将自动计费,授予您访问计划中指定的所有 API 调用的权限。请记住这一点以避免不必要的费用。
7 天后,您将被收取试用期间订阅的计划的全额费用。因此,在试用期结束前取消很重要。因忘记及时取消而提出的退款请求不被接受。
当您订阅 API 免费试用时,您可以进行最多 50 次 API 调用。如果您希望超出此限制进行额外的 API 调用,API 将提示您执行"开始您的付费计划"。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。
付款订单在每月 20 日至 30 日之间处理。如果您在 20 日之前提交请求,您的付款将在此时间范围内处理。
您可以通过我们的聊天渠道联系我们以获得即时帮助。我们始终在线,时间为上午 8 点至下午 5 点(EST)。如果您在该时间之后联系我们,我们将尽快回复您。此外,您可以通过 [email protected]

相关 API