{
"ok": true,
"summary": {
"domain": "blog.cloudflare.com",
"origin": "https://blog.cloudflare.com",
"homepageStatus": 200,
"robots": {
"url": "https://blog.cloudflare.com/robots.txt",
"status": 200,
"present": true,
"userAgent": "SteadylineBot",
"userAgentGroupsCount": 1,
"matchedGroup": "*",
"disallow": [
"/_emdash/admin",
"/preview/"
],
"allow": [
"/"
],
"crawlDelay": null,
"blocksEverything": false,
"aiBotsBlocked": []
},
"sitemaps": [
{
"url": "https://blog.cloudflare.com/sitemap.xml",
"status": 200,
"type": "index",
"entries": 8,
"error": null
},
{
"url": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"status": 200,
"type": "urlset",
"entries": 78,
"error": null
}
],
"sitemapsGuessed": false,
"feeds": [
{
"url": "https://blog.cloudflare.com/rss/",
"foundVia": "link-rel-alternate",
"format": "rss",
"title": "Cloudflare Blog",
"itemCount": 20,
"latestItem": "Mon, 02 Nov 2026 14:00:00 GMT"
}
],
"llmsTxt": {
"url": "https://blog.cloudflare.com/llms.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"llmsFullTxt": {
"url": "https://blog.cloudflare.com/llms-full.txt",
"present": false,
"bytes": null,
"excerpt": null
},
"urlCounts": {
"scannedInSitemaps": 21,
"matchedFilters": 20,
"filteredOut": 0,
"disallowedByRobots": 0,
"output": 20,
"truncatedAtMaxUrls": true
},
"analyzedAt": "2026-11-02T18:05:54.225Z",
"error": null
},
"urlCount": 20,
"urls": [
{
"url": "https://blog.cloudflare.com/zh-tw/cloudflare-basin",
"lastmod": "2026-10-12T03:39:57.788Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
},
{
"url": "https://blog.cloudflare.com/zh-cn/cloudflare-basin",
"lastmod": "2026-10-12T03:48:01.854Z",
"changefreq": null,
"priority": null,
"sourceSitemap": "https://blog.cloudflare.com/sitemap-posts-5.xml",
"allowedByRobots": true
}
],
"meta": {
"requestId": "5f0c2a7e-0000-4000-8000-000000000000",
"durationMs": 2813
}
}
curl --location --request GET 'https://zylalabs.com/api/14711/website+sitemap+and+url+discovery+api/38030/discover+urls?domain=blog.cloudflare.com&maxUrls=50&includeUrls=true&includeLlmsTxt=true' --header 'Authorization: Bearer YOUR_API_KEY'
Después de registrarte, a cada desarrollador se le asigna una clave de acceso a la API personal, una combinación única de letras y dígitos proporcionada para acceder a nuestro endpoint de la API. Para autenticarte con el Mapa del sitio web y descubrimiento de URL API simplemente incluye tu token de portador en el encabezado de Autorización.
| Encabezado | Descripción |
|---|---|
Autorización
|
Requerido
Debería ser Bearer access_key. Consulta "Tu Clave de Acceso a la API" arriba cuando estés suscrito.
|
Sin compromiso a largo plazo. Mejora, reduce o cancela en cualquier momento. La Prueba Gratuita incluye hasta 50 solicitudes.
Descubre cada URL pública de un sitio web desde robots.txt, mapas del sitio XML, índices de mapas del sitio, feeds RSS y llms.txt en una solicitud
Sí Usa includePatterns y excludePatterns (subcadenas separadas por comas) y lastmodSince para mantener solo las páginas que se han cambiado recientemente
No Cada solicitud se procesa bajo demanda y el resultado se devuelve en la respuesta Nada sobre su solicitud se mantiene más allá de los registros operativos de corta duración
Recibes un error JSON con un código claro (por ejemplo invalid_input, no_result o timeout) en lugar de datos parciales Las solicitudes rechazadas por entrada no válida se responden con el estado 400
El punto final de Discover URLs devuelve un resumen de las URL públicas del sitio web incluyendo detalles de robots.txt mapas del sitio XML feeds RSS y llms.txt Proporciona hasta 1,000 URL descubiertas junto con sus fechas de última modificación
Los campos clave en la respuesta incluyen "dominio" "origen" "estadoDeLaPáginaPrincipal" "robots" "sitemaps" y "URLsDescubiertas" Cada campo proporciona información específica sobre la estructura y accesibilidad del sitio web
Los datos de respuesta están estructurados en formato JSON con un campo de nivel superior "ok" que indica éxito seguido de un objeto "summary" que contiene detalles del dominio y un arreglo de URLs descubiertas cada una con metadatos asociados
El punto final proporciona información sobre las reglas de robots.txt del sitio web, las URL del sitemap, las fechas de última modificación de las páginas y cualquier ruta permitida o prohibida para los rastreadores web, dando una vista completa de la estructura del sitio
Los usuarios pueden personalizar las solicitudes utilizando parámetros como "includePatterns", "excludePatterns" y "lastmodSince" Estos parámetros permiten filtrar URLs en función de criterios específicos, como fechas de modificación o patrones de URL
La precisión de los datos se mantiene leyendo directamente de los archivos accesibles públicamente del sitio web como robots.txt y sitemaps La API procesa estos datos en tiempo real garantizando que la información refleje el estado actual del sitio web
Los casos de uso típicos incluyen análisis SEO auditorías de sitios web descubrimiento de contenido y monitoreo de cambios en la estructura del sitio web Los usuarios pueden aprovechar los datos para mejorar sus estrategias de rastreo web o mejorar la indexación del sitio
Los usuarios pueden analizar las URL devueltas para identificar páginas rastreables evaluar oportunidades de SEO y asegurar el cumplimiento de las reglas de robots.txt Las fechas de última modificación ayudan a priorizar las actualizaciones de contenido e identificar páginas que han cambiado recientemente