Primeiro, a página precisa chegar.
Um robô de IA lê o que o servidor entrega. Se o robots.txt o bloqueia, ou se o texto só aparece depois do JavaScript, a leitura para antes de começar.
A máquina consegue receber a página inteira?
- Acesso dos robôs de IA. O robots.txt libera os robôs de OpenAI, Anthropic, Perplexity e Google, e há um sitemap.
- Conteúdo no HTML. Quanto do texto da página chega sem depender de JavaScript.
- Peso da página. O tamanho do HTML que o robô precisa baixar.