{
"ok": true,
"summary": {
"domain": "blog.cloudflare.com",
"origin": "https://blog.cloudflare.com",
"homepageStatus": 200,
"robots": {
"url": "https://blog.cloudflare.com/robots.txt",
"status": 200,
"present": true,
"userAgent": "SteadylineBot",
"userAgentGroupsCount": 1,
"matchedGroup": "*",
"disallow": [
"/_emdash/admin",
"/preview/"
],
"allow": [
"/"
],
"crawlDelay": null,
"blocksEverything": false,
"aiBotsBlocked": []
},
"sitemaps": [
{
"url": "https://blog.cloudflare.com/sitemap.xml",
"status": 200,
"type": "index",
"entries": 8,
"error": null
},
{
"url": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"status": 200,
"type": "urlset",
"entries": 78,
"error": null
}
],
"sitemapsGuessed": false,
"feeds": [
{
"url": "https://blog.cloudflare.com/rss/",
"foundVia": "link-rel-alternate",
"format": "rss",
"title": "Cloudflare Blog",
"itemCount": 20,
"latestItem": "Mon, 02 Nov 2026 14:00:00 GMT"
}
],
"llmsTxt": {
"url": "https://blog.cloudflare.com/llms.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"llmsFullTxt": {
"url": "https://blog.cloudflare.com/llms-full.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"urlCounts": {
"scannedInSitemaps": 21,
"matchedFilters": 20,
"filteredOut": 0,
"disallowedByRobots": 0,
"output": 20,
"truncatedAtMaxUrls": true
},
"analyzedAt": "2026-11-02T18:05:54.225Z",
"error": null
},
"urlCount": 20,
"urls": [
{
"url": "https://blog.cloudflare.com/zh-tw/cloudflare-basin",
"lastmod": "2026-10-12T03:39:57.788Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
},
{
"url": "https://blog.cloudflare.com/zh-cn/cloudflare-basin",
"lastmod": "2026-10-12T03:48:01.854Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
}
],
"meta": {
"requestId": "5f0c2a7e-0000-4000-8000-000000000000",
"durationMs": 2813
}
}
curl --location --request GET 'https://zylalabs.com/api/14711/website+sitemap+and+url+discovery+api/38030/discover+urls?domain=blog.cloudflare.com&maxUrls=50&includeUrls=true&includeLlmsTxt=true' --header 'Authorization: Bearer YOUR_API_KEY'
Después de registrarte, a cada desarrollador se le asigna una clave de acceso a la API personal, una combinación única de letras y dígitos proporcionada para acceder a nuestro endpoint de la API. Para autenticarte con el Mapa del sitio web y descubrimiento de URL API simplemente incluye tu token de portador en el encabezado de Autorización.
| Encabezado | Descripción |
|---|---|
Autorización
|
Requerido
Debería ser Bearer access_key. Consulta "Tu Clave de Acceso a la API" arriba cuando estés suscrito.
|
Sin compromiso a largo plazo. Mejora, reduce o cancela en cualquier momento. La Prueba Gratuita incluye hasta 50 solicitudes.
Descubre cada URL pública de un sitio web desde robots.txt, mapas del sitio XML, índices de mapas del sitio, feeds RSS y llms.txt en una solicitud
Sí Usa includePatterns y excludePatterns (subcadenas separadas por comas) y lastmodSince para mantener solo las páginas que se han cambiado recientemente
No Cada solicitud se procesa bajo demanda y el resultado se devuelve en la respuesta Nada sobre su solicitud se mantiene más allá de los registros operativos de corta duración
Recibes un error JSON con un código claro (por ejemplo invalid_input, no_result o timeout) en lugar de datos parciales Las solicitudes rechazadas por entrada no válida se responden con el estado 400