Bot de investigação

O RodrigoSilvanoResearchBot é um programa que lê páginas públicas de sites com domínio .pt para um estudo sobre como os sites portugueses estão preparados para motores de pesquisa e assistentes de IA. Os resultados são publicados em números agregados em rodrigosilvano.pt.

1. Como o identificar

O pedido traz este User-Agent:

RodrigoSilvanoResearchBot/1.0 (+https://rodrigosilvano.pt/legal/bot-de-investigacao)

2. O que lê

• A página inicial do domínio (um pedido GET).
• /robots.txt.
• /llms.txt, nos domínios que respondem com uma página válida.

Não segue ligações para outras páginas, não preenche formulários, não inicia sessão e não executa JavaScript.

3. O que guarda

• Domínio, código de resposta HTTP e idioma da página.
• Título e descrição da página inicial.
• Regras do robots.txt dirigidas a agentes de IA (por exemplo GPTBot, ClaudeBot, PerplexityBot e Google-Extended).
• Existência de llms.txt e dos tipos de dados estruturados (JSON-LD) declarados.
• Plataforma de criação do site, quando o código da página a identifica.

Não guarda o conteúdo completo das páginas, endereços de email nem dados pessoais de visitantes.

4. Ritmo e respeito pelo robots.txt

O bot faz no máximo um pedido por segundo a cada domínio e lê cada ficheiro uma vez. Se o robots.txt do domínio bloquear o token RodrigoSilvanoResearchBot ou todos os agentes (User-agent: * com Disallow: /), o domínio fica excluído do estudo e só se regista o bloqueio.

5. Como publicamos

O estudo apresenta totais e percentagens por setor. Não identifica sites com resultados fracos. Só são nomeados sites com resultados favoráveis, com autorização do titular.

6. Como excluir o teu domínio

• Acrescenta ao robots.txt: User-agent: RodrigoSilvanoResearchBot seguido de Disallow: /.
• Ou escreve para info@rodrigosilvano.pt com o domínio. Os dados desse domínio são eliminados e o domínio não volta a ser lido.

7. Contacto

Rodrigo Silvano, info@rodrigosilvano.pt.