{
"url": "https://example.com",
"status_code": 200,
"markdown": "This domain is for use in documentation examples without needing permission.",
"stats": {
"word_count": 25,
"char_count": 156,
"estimated_llm_tokens": 39,
"reading_time_minutes": 0.1
},
"metadata": {
"title": "Example Domain",
"canonical_url": null,
"headings": [
{
"level": 1,
"text": "Example Domain"
}
]
}
}
curl --location --request GET 'https://zylalabs.com/api/15141/web+to+clean+markdown+and+metadata+api/40413/convert+webpage+to+clean+markdown?url=https://example.com&include_links=true&include_metadata=true&check_ai_files=false' --header 'Authorization: Bearer YOUR_API_KEY'
{
"url": "https://example.com",
"status_code": 200,
"metadata": {
"title": "Example Domain",
"description": null,
"open_graph": [],
"json_ld": []
},
"ai_files": {
"llms_txt": {
"present": false,
"status_code": 404
},
"robots_txt": {
"present": false,
"status_code": 404
}
}
}
curl --location --request GET 'https://zylalabs.com/api/15141/web+to+clean+markdown+and+metadata+api/40414/extract+webpage+metadata+and+ai+readiness?url=https://example.com&check_ai_files=true' --header 'Authorization: Bearer YOUR_API_KEY'
注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 网页转为干净的 Markdown 和元数据 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。
| 标头 | 描述 |
|---|---|
授权
|
必需
应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。
|
无长期承诺。随时升级、降级或取消。 免费试用包括最多 50 个请求。
(年度计费可节省 2 个月 🎉)
将任何公共网页转换为简洁且无冗余内容的 Markdown,针对大型语言模型和检索管道进行优化,并附带令牌估算、OpenGraph 标签、JSON-LD 数据和 llms.txt 检查
移除脚本、样式、导航栏和 Cookie 横幅可大幅减少 token 用量,同时保留标题、表格、列表和代码块,以便准确检索和总结
该 API 会解析页面标题、元描述、规范链接、OpenGraph 标签、Twitter Cards、JSON-LD Schema 区块、标题大纲以及去重后的内部和外部链接
启用后,服务会在站点根目录探测 llms.txt 和 robots.txt 文件,并返回它们的 HTTP 状态和内容预览
提供一个可公开访问的 HTTP 或 HTTPS 网页 URL。该服务会获取网页,处理其主要内容,并以结构化 JSON 返回结果,其中包含源 URL、HTTP 状态、Markdown、统计信息和基本元数据
响应包含所请求的网址、抓取状态、清理后的 Markdown,以及页面标题、规范网址和标题列表等元数据。Markdown 可以保留文章结构,包括检测到的标题、列表、表格和代码块
Stats 对象报告 word_count、char_count、estimated_llm_tokens 和 reading_time_minutes。这些值有助于在下游工作流中使用 Markdown 之前估算内容大小、模型输入要求和大致阅读所需时间】【。
它返回页面元数据,包括标题、描述、规范网址、OpenGraph 数据、Twitter Cards、JSON-LD 区块、标题大纲以及内部和外部链接。它还会报告 llms.txt 和 robots.txt 是否可用
Ai_files 对象包含单独的 llms_txt 和 robots_txt 记录。每条记录都可以包含 present 布尔值和 status_code,例如文件在检查的位置不可用时,present: false 且 status_code: 404
缺失值会被明确返回,而不是推断得出。例如,description 或 canonical_url 可能为 null,而 open_graph 或 json_ld 可能为空数组。客户端应安全地处理 null 字段和空集合
使用转换端点创建精简的 Markdown,用于检索、索引、摘要或 LLM 提示。使用元数据端点审查页面的可发现性、检查结构化标记、构建链接清单并评估 AI 就绪信号
首先检查顶层的 status_code 和 url。HTTP 状态码成功表示页面已获取,而存在 markdown 且 stats 已填充则表明提取到了可用内容。即使获取成功,元数据字段仍可能为空