Dado un único dominio verifica el robots.txt del sitio (reglas de permitir/no permitir rastreo por agente de usuario demora de rastreo URLs del sitemap declaradas) y sitemap.xml (existencia conteo de URLs y conteo de child-sitemap si .
{
"domain": "example.com",
"robotsTxt": {
"url": "https://example.com/robots.txt",
"found": false,
"statusCode": 404,
"groups": [],
"declaredSitemaps": []
},
"sitemap": {
"source": "fallback_sitemap_xml",
"results": [
{
"url": "https://example.com/sitemap.xml",
"found": false,
"statusCode": 404
}
]
},
"issues": [
{
"code": "robots_missing",
"severity": "info",
"message": "robots.txt가 없습니다 — 기본적으로 전체 크롤링이 허용됩니다."
},
{
"code": "no_sitemap_declared",
"severity": "info",
"message": "robots.txt에 Sitemap 필드가 선언되어 있지 않습니다 — /sitemap.xml 기본 경로만 확인했습니다."
}
]
}
curl --location --request GET 'https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap' --header 'Authorization: Bearer YOUR_API_KEY'
Después de registrarte, a cada desarrollador se le asigna una clave de acceso a la API personal, una combinación única de letras y dígitos proporcionada para acceder a nuestro endpoint de la API. Para autenticarte con el Robots y Verificador de Sitemap API simplemente incluye tu token de portador en el encabezado de Autorización.
| Encabezado | Descripción |
|---|---|
Autorización
|
Requerido
Debería ser Bearer access_key. Consulta "Tu Clave de Acceso a la API" arriba cuando estés suscrito.
|
Sin compromiso a largo plazo. Mejora, reduce o cancela en cualquier momento. La Prueba Gratuita incluye hasta 50 solicitudes.
Dado un dominio único, verifica el robots.txt del sitio (reglas de permiso/prohibición de rastreo por agente de usuario, retraso de rastreo, URLs de sitemap declaradas) y sitemap.xml (existencia, conteo de URLs y conteo de sitemaps secundarios si
El punto final devuelve datos JSON estructurados que incluyen el estado del archivo robots.txt las URL del mapa del sitio y cualquier problema detectado Proporciona información sobre las reglas de rastreo la existencia del mapa del sitio el recuento de URL y señala errores comunes
Los campos clave incluyen `dominio`, `robotsTxt` (con `url`, `encontrado`, `códigoDeEstado`, `grupos` y `sitemapsDeclarados`), `sitemap` (con `fuente` y `resultados`), y `problemas` (con `código`, `severidad` y `mensaje`)
La respuesta está organizada en tres secciones principales: `dominio` para el sitio objetivo, `robotsTxt` para reglas de rastreo y declaraciones de mapa del sitio, y `sitemap` para el estado del mapa del sitio. Cada sección contiene detalles relevantes y cualquier problema identificado
El punto final proporciona información sobre la existencia y el estado del archivo robots.txt los sitemaps declarados el conteo de URLs en el sitemap y cualquier problema como archivos faltantes o bloques de rastreo
Los usuarios pueden personalizar las solicitudes especificando el dominio objetivo en la llamada a la API El endpoint no requiere parámetros adicionales lo que lo hace sencillo de usar para cualquier dominio
Los casos de uso típicos incluyen auditorías de SEO verificación de migraciones de sitios y realización de comprobaciones previas a la implementación para garantizar configuraciones de rastreo adecuadas y accesibilidad del sitemap
La precisión de los datos se mantiene al adherirse al estándar RFC 9309 para el análisis de robots.txt y al verificar sistemáticamente la existencia y el estado de las URL del sitemap
Si los resultados son parciales o están vacíos, los usuarios deben verificar el campo `found` en la respuesta. Si `false`, indica que no se encontró el robots.txt o el sitemap, lo que sugiere realizar una investigación adicional sobre la configuración del dominio