Dado um único domínio verifica o robots.txt do site (regras de permissão/negativa de rastreamento por agente de usuário atraso de rastreamento URLs de sitemap declaradas) e sitemap.xml (existência contagem de URL e contagem de sitemaps filhos se)
{
"domain": "example.com",
"robotsTxt": {
"url": "https://example.com/robots.txt",
"found": false,
"statusCode": 404,
"groups": [],
"declaredSitemaps": []
},
"sitemap": {
"source": "fallback_sitemap_xml",
"results": [
{
"url": "https://example.com/sitemap.xml",
"found": false,
"statusCode": 404
}
]
},
"issues": [
{
"code": "robots_missing",
"severity": "info",
"message": "robots.txt가 없습니다 — 기본적으로 전체 크롤링이 허용됩니다."
},
{
"code": "no_sitemap_declared",
"severity": "info",
"message": "robots.txt에 Sitemap 필드가 선언되어 있지 않습니다 — /sitemap.xml 기본 경로만 확인했습니다."
}
]
}
curl --location --request GET 'https://zylalabs.com/api/14047/robots+and+sitemap+checker+api/34290/check+robots+txt+and+sitemap' --header 'Authorization: Bearer YOUR_API_KEY'
Após se cadastrar, cada desenvolvedor recebe uma chave de acesso à API pessoal, uma combinação única de letras e dígitos para acessar nosso endpoint de API. Para autenticar com a Robôs e Verificador de Sitemap API basta incluir seu token Bearer no cabeçalho Authorization.
| Cabeçalho | Descrição |
|---|---|
Authorization
|
Obrigatório
Deve ser Bearer access_key. Veja "Sua chave de acesso à API" acima quando você estiver inscrito.
|
Sem compromisso de longo prazo. Faça upgrade, downgrade ou cancele a qualquer momento. O teste gratuito inclui até 50 requisições.
Dado um único domínio, verifica o robots.txt do site (regras de permissão/proibição de rastreamento por agente de usuário, atraso de rastreamento, URLs de sitemap declaradas) e sitemap.xml (existência, contagem de URLs e contagem de sub-sitemaps se
O endpoint retorna dados JSON estruturados que incluem o status do arquivo robots.txt, URLs do sitemap e quaisquer problemas detectados. Ele fornece informações sobre regras de rastreamento, existência de sitemap, contagem de URLs e sinaliza erros comuns
Os campos chave incluem `domínio`, `robotsTxt` (com `url`, `encontrado`, `statusCode`, `grupos` e `declaredSitemaps`), `sitemap` (com `fonte` e `resultados`) e `problemas` (com `código`, `gravidade` e `mensagem`)
A resposta está organizada em três seções principais: `domínio` para o site de destino, `robotsTxt` para regras de rastreamento e declarações de sitemap, e `sitemap` para o status do sitemap Cada seção contém detalhes relevantes e quaisquer problemas identificados
O endpoint fornece informações sobre a existência e status do arquivo robots.txt, sitemaps declarados, contagem de URLs no sitemap e quaisquer problemas como arquivos ausentes ou bloqueios de rastreamento
Os usuários podem personalizar solicitações especificando o domínio de destino na chamada da API O endpoint não requer parâmetros adicionais tornando-o simples de usar para qualquer domínio
Casos de uso típicos incluem auditorias de SEO verificação de migrações de site e realização de checagens pré-implantação para garantir configurações de rastreamento adequadas e acessibilidade do sitemap
A precisão dos dados é mantida ao aderir ao padrão RFC 9309 para análise de robots.txt e ao verificar sistematicamente a existência e o status das URLs do sitemap
Se os resultados forem parciais ou vazios, os usuários devem verificar o campo `found` na resposta. Se `false`, isso indica que o robots.txt ou o sitemap não foi encontrado, o que leva a uma investigação mais aprofundada na configuração do domínio