人工智能网络爬虫和数据提取 API

API ID 13792

将静态和JavaScript渲染的网页转换为干净的Markdown 文本 HTML 链接和元数据,带有自动浏览器渲染和可选的缓存

API 文档

端点

请求
抓取一个公开可访问的静态或JavaScript渲染的网页 返回所选输出格式,包括干净的Markdown 普通文本 HTML 链接和页面元数据 浏览器渲染可以被禁用 自动选择或始终启用
Endpoint ID: 31630
POST https://zylalabs.com/api/13792/ai+web+scraper+and+data+extraction+api/31630/scrape+web+page
输入参数

抓取网页 — 端点功能

对象 描述
请求体 必需 Json

剩余免费测试请求:3 / 3。


输入参数

API 示例响应
JSON
{
    "success": true,
    "cached": false,
    "processing_ms": 47,
    "data": {
        "url": "https://example.com/",
        "status_code": 200,
        "content_type": "text/html",
        "title": "Example Domain",
        "render_mode": "static",
        "markdown": "# Example Domain\n\nThis domain is for use in documentation examples without needing permission. Avoid use in operations.\n\n[Learn more](https://iana.org/domains/example)",
        "metadata": {
            "url": "https://example.com/",
            "title": "Example Domain",
            "description": null,
            "keywords": null,
            "author": null,
            "language": null,
            "canonical": null,
            "og": {
                "title": null,
                "description": null,
                "image": null,
                "url": null,
                "type": null,
                "site_name": null
            },
            "twitter": {
                "card": null,
                "title": null,
                "description": null,
                "image": null
            }
        }
    }
}
抓取网页 — 代码片段

curl --location --request POST 'https://zylalabs.com/api/13792/ai+web+scraper+and+data+extraction+api/31630/scrape+web+page' --header 'Authorization: Bearer YOUR_API_KEY' 

--data-raw '{
  "url": "https://example.com",
  "formats": [
    "markdown",
    "metadata"
  ],
  "render": "never",
  "use_cache": false
}'

    

API 访问密钥和身份验证

注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 人工智能网络爬虫和数据提取 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。

标头
标头 描述
授权 必需 应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。

无长期承诺。随时升级、降级或取消。 免费试用包括最多 50 个请求。

(年度计费可节省 2 个月 🎉)

🚀 企业版套餐

起价
$ 10,000/年


  • 自定义数量
  • 自定义速率限制
  • 专业客户支持
  • 实时 API 监控

概览

将静态网页和JavaScript渲染的网页抓取为干净的Markdown、文本、HTML、链接和元数据,支持自动浏览器渲染和可选缓存

人工智能网络爬虫和数据提取 API FAQs

它检索一个公共可访问的网页并返回所选的输出格式,包括干净的Markdown格式、纯文本、HTML、链接和页面元数据

是的。使用render="auto"在需要时启用浏览器渲染,使用render="always"强制渲染,或使用render="never"以加快静态页面处理速度

您可以请求 markdown 文本 html 链接和元数据。可以在单个 API 调用中请求多种格式

不 该端点旨在用于公开可访问的页面 它不绕过身份验证 收费墙 验证码 或目标网站施加的限制

设置use_cache=true以允许在可用时重用先前检索的结果 当您需要API请求页面的当前版本时设置use_cache=false

不出于安全原因,该API仅接受公共HTTP和HTTPS目标 本地主机 私有网络地址和内部服务被阻止

一般常见问题

Zyla API Hub 就像一个大型 API 商店,您可以在一个地方找到数千个 API。我们还为所有 API 提供专门支持和实时监控。注册后,您可以选择要使用的 API。请记住,每个 API 都需要自己的订阅。但如果您订阅多个 API,您将为所有这些 API 使用相同的密钥,使事情变得更简单。
价格以 USD(美元)、EUR(欧元)、CAD(加元)、AUD(澳元)和 GBP(英镑)列出。我们接受所有主要的借记卡和信用卡。我们的支付系统使用最新的安全技术,由 Stripe 提供支持,Stripe 是世界上最可靠的支付公司之一。如果您在使用卡片付款时遇到任何问题,请通过 [email protected]

此外,如果您已经以这些货币中的任何一种(USD、EUR、CAD、AUD、GBP)拥有有效订阅,该货币将保留用于后续订阅。只要您没有任何有效订阅,您可以随时更改货币。
定价页面上显示的本地货币基于您 IP 地址的国家/地区,仅供参考。实际价格以 USD(美元)为单位。当您付款时,即使您在我们的网站上看到以本地货币显示的等值金额,您的卡片对账单上也会以美元显示费用。这意味着您不能直接使用本地货币付款。
有时,银行可能会因其欺诈保护设置而拒绝收费。我们建议您首先联系您的银行,检查他们是否阻止了我们的收费。此外,您可以访问账单门户并更改关联的卡片以进行付款。如果这些方法不起作用并且您需要进一步帮助,请通过 [email protected]
价格由月度或年度订阅决定,具体取决于所选计划。
API 调用根据成功请求从您的计划中扣除。每个计划都包含您每月可以进行的特定数量的调用。只有成功的调用(由状态 200 响应指示)才会计入您的总数。这确保失败或不完整的请求不会影响您的月度配额。
Zyla API Hub 采用月度订阅系统。您的计费周期将从您购买付费计划的那一天开始,并在下个月的同一日期续订。因此,如果您想避免未来的费用,请提前取消订阅。
要升级您当前的订阅计划,只需转到 API 的定价页面并选择您要升级到的计划。升级将立即生效,让您立即享受新计划的功能。请注意,您之前计划中的任何剩余调用都不会转移到新计划,因此在升级时请注意这一点。您将被收取新计划的全部金额。
要检查您本月剩余多少 API 调用,请参考响应标头中的 "X-Zyla-API-Calls-Monthly-Remaining" 字段。例如,如果您的计划允许每月 1,000 个请求,而您已使用 100 个,则响应标头中的此字段将显示 900 个剩余调用。
要查看您的计划允许的最大 API 请求数,请检查 "X-Zyla-RateLimit-Limit" 响应标头。例如,如果您的计划包括每月 1,000 个请求,此标头将显示 1,000。
"X-Zyla-RateLimit-Reset" 标头显示您的速率限制重置之前的秒数。这告诉您何时您的请求计数将重新开始。例如,如果它显示 3,600,则意味着还有 3,600 秒直到限制重置。
是的,您可以随时通过访问您的账户并在账单页面上选择取消选项来取消您的计划。请注意,升级、降级和取消会立即生效。此外,取消后,您将不再有权访问该服务,即使您的配额中还有剩余调用。
为了让您有机会在没有任何承诺的情况下体验我们的 API,我们提供 7 天免费试用,允许您免费进行最多 50 次 API 调用。此试用只能使用一次,因此我们建议将其应用于您最感兴趣的 API。虽然我们的大多数 API 都提供免费试用,但有些可能不提供。试用在 7 天后或您进行了 50 次请求后结束,以先发生者为准。如果您在试用期间达到 50 次请求限制,您需要"开始您的付费计划"以继续发出请求。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。或者,如果您在第 7 天之前不取消订阅,您的免费试用将结束,您的计划将自动计费,授予您访问计划中指定的所有 API 调用的权限。请记住这一点以避免不必要的费用。
7 天后,您将被收取试用期间订阅的计划的全额费用。因此,在试用期结束前取消很重要。因忘记及时取消而提出的退款请求不被接受。
当您订阅 API 免费试用时,您可以进行最多 50 次 API 调用。如果您希望超出此限制进行额外的 API 调用,API 将提示您执行"开始您的付费计划"。您可以在个人资料中的订阅 -> 选择您订阅的 API -> 定价标签下找到"开始您的付费计划"按钮。
付款订单在每月 20 日至 30 日之间处理。如果您在 20 日之前提交请求,您的付款将在此时间范围内处理。
您可以通过我们的聊天渠道联系我们以获得即时帮助。我们始终在线,时间为上午 8 点至下午 5 点(EST)。如果您在该时间之后联系我们,我们将尽快回复您。此外,您可以通过 [email protected]

相关 API