{
"ok": true,
"summary": {
"domain": "blog.cloudflare.com",
"origin": "https://blog.cloudflare.com",
"homepageStatus": 200,
"robots": {
"url": "https://blog.cloudflare.com/robots.txt",
"status": 200,
"present": true,
"userAgent": "SteadylineBot",
"userAgentGroupsCount": 1,
"matchedGroup": "*",
"disallow": [
"/_emdash/admin",
"/preview/"
],
"allow": [
"/"
],
"crawlDelay": null,
"blocksEverything": false,
"aiBotsBlocked": []
},
"sitemaps": [
{
"url": "https://blog.cloudflare.com/sitemap.xml",
"status": 200,
"type": "index",
"entries": 8,
"error": null
},
{
"url": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"status": 200,
"type": "urlset",
"entries": 78,
"error": null
}
],
"sitemapsGuessed": false,
"feeds": [
{
"url": "https://blog.cloudflare.com/rss/",
"foundVia": "link-rel-alternate",
"format": "rss",
"title": "Cloudflare Blog",
"itemCount": 20,
"latestItem": "Mon, 02 Nov 2026 14:00:00 GMT"
}
],
"llmsTxt": {
"url": "https://blog.cloudflare.com/llms.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"llmsFullTxt": {
"url": "https://blog.cloudflare.com/llms-full.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"urlCounts": {
"scannedInSitemaps": 21,
"matchedFilters": 20,
"filteredOut": 0,
"disallowedByRobots": 0,
"output": 20,
"truncatedAtMaxUrls": true
},
"analyzedAt": "2026-11-02T18:05:54.225Z",
"error": null
},
"urlCount": 20,
"urls": [
{
"url": "https://blog.cloudflare.com/zh-tw/cloudflare-basin",
"lastmod": "2026-10-12T03:39:57.788Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
},
{
"url": "https://blog.cloudflare.com/zh-cn/cloudflare-basin",
"lastmod": "2026-10-12T03:48:01.854Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
}
],
"meta": {
"requestId": "5f0c2a7e-0000-4000-8000-000000000000",
"durationMs": 2813
}
}
curl --location --request GET 'https://zylalabs.com/api/14711/website+sitemap+and+url+discovery+api/38030/discover+urls?domain=blog.cloudflare.com&maxUrls=50&includeUrls=true&includeLlmsTxt=true' --header 'Authorization: Bearer YOUR_API_KEY'
注册后,每个开发者都会被分配一个个人 API 访问密钥,这是一个唯一的字母和数字组合,用于访问我们的 API 端点。要使用 网站地图和网址发现 API 进行身份验证,只需在 Authorization 标头中包含您的 bearer token。
| 标头 | 描述 |
|---|---|
授权
|
必需
应为 Bearer access_key. 订阅后,请查看上方的"您的 API 访问密钥"。
|
从robots.txt、XML网站地图、网站地图索引、RSS提要和llms.txt中通过一次请求发现网站的所有公共URL
是的 使用includePatterns和excludePatterns(以逗号分隔的子字符串)以及lastmodSince来仅保留最近更改的页面
不 每个请求都是按需处理的 结果会在响应中返回 关于您的请求没有任何信息会被保留 超过短期操作日志
您收到一个带有明确代码的JSON错误(例如invalid_input、no_result或timeout),而不是部分数据。因无效输入而被拒绝的请求将以状态400回复
发现网址端点返回网站公共网址的摘要,包括来自robots.txt XML网站地图 RSS源和llms.txt的详细信息 它提供最多1000个发现的网址及其最后修改日期
响应中的关键字段包括“域名”、“来源”、“主页状态”、“爬虫”、“网站地图”和“发现的 URL”每个字段提供关于网站结构和可访问性的特定信息
响应数据以JSON格式结构化,顶层有一个“ok”字段表示成功,随后是一个“summary”对象,包含域详细信息和一个发现的URL数组,每个URL都有相关的元数据
该端点提供有关网站的robots.txt规则、网站地图URL、页面的最后修改日期以及任何不允许或允许搜索爬虫的路径的信息,从而全面展示网站的结构
用户可以使用“includePatterns”、“excludePatterns”和“lastmodSince”等参数自定义请求 这些参数允许根据特定标准过滤URL,如修改日期或URL模式
数据的准确性是通过直接读取网站公开可访问的文件如robots.txt和sitemaps来维护的 API实时处理这些数据 确保信息反映网站的当前状态
典型的使用案例包括SEO分析 网站审核 内容发现和监控网站结构的变化 用户可以利用这些数据来增强他们的网络爬虫策略或改善网站索引
用户可以分析返回的 URL 以识别可爬取的页面 评估 SEO 机会 并确保遵守 robots.txt 规则 最后修改日期有助于优先更新内容并识别最近更改的页面