AutrokBot, o robô do Autrok
O AutrokBot é o robô que o Autrok, um produto da Pomars (pomars.com), usa para ler anúncios públicos de carros usados em Belo Horizonte e comparar o preço pedido com a Tabela FIPE e com carros parecidos. Se ele apareceu nos registros do seu site, esta página explica quem ele é, o que faz e como pedir que ele não volte.
Ele sempre se identifica com este user agent:
AutrokBot/1.0 (+https://autrok.com/bot)O que ele coleta
Só os fatos do anúncio: marca, modelo, versão, ano, quilometragem, cor, combustível, câmbio, preço pedido, cidade e o endereço da página, para que cada carro no Autrok leve de volta ao anúncio original. Ele nunca copia fotos nem descrições, não lê placas e não guarda nome, telefone, e-mail ou qualquer outro dado de vendedores particulares; de lojas e locadoras, só o nome da empresa.
Como ele visita os sites
Ele lê e respeita o robots.txt de cada site: páginas bloqueadas nunca são visitadas, e ele parte dos sitemaps ou das listas de estoque em vez das buscas. Faz uma requisição por vez em cada site, com pelo menos 2 segundos entre elas (mais, se o site pedir um Crawl-delay), não usa cookies nem faz login e começa no máximo uma passada a cada 20 horas em cada site.
Quando ele para
Se o site responde 401, 403 ou 429, ou mostra uma verificação contra robôs, o AutrokBot para na hora e não tenta contornar o bloqueio. Depois de um 429 ele espera pelo menos 24 horas (ou o Retry-After, se for maior); depois de uma recusa, pelo menos 7 dias. Erros seguidos do servidor também o fazem parar.
Tabela FIPE
Os valores da Tabela FIPE não são coletados pelo AutrokBot: eles chegam por um serviço de dados e são mostrados só por modelo, junto de cada anúncio.
Como pedir que ele não visite o seu site
Bloqueie o AutrokBot no robots.txt do seu site, como no exemplo abaixo: ele deixa de visitá-lo em até 24 horas. Ou escreva para bot@autrok.com com o endereço do site: em até 24 horas paramos a coleta e tiramos do Autrok os anúncios do seu site.
Para bloquear o AutrokBot no robots.txt:
User-agent: AutrokBot
Disallow: /Dúvidas ou pedidos sobre o AutrokBot: bot@autrok.com