Porta 443 trancada. Quedas? Sumiram. Do nada.
acme.com — um site humilde de hobby — passou um mês no inferno a partir de 25 de fevereiro. Blecautes intermitentes. Pings nas alturas. Pacotes caindo como moscas. Horas offline, depois um silêncio esquisito, e repete. Tudo isso logo depois que o provedor Sonic mexeu em algo durante uma manutenção.
Olha, isso não é drama de empresa grande com SLAs de milhões. É o servidor de brincadeira de um dev só, rodando HTTP e HTTPS. O HTTP voava liso; o HTTPS engasgava. A ansiedade explodiu às 1 da manhã numa noite — os logs de tráfego gritando verdades.
Bots. Bots sem fim. E não eram os crawlers comuns do Google. Eram bots raspadores de LLM, aqueles sugadores vorazes de dados que alimentam modelos de IA da OpenAI, Anthropic, xAI e por aí vai. Batendo em todo endpoint, todo site, sem dó nem piedade. O HTTPS do acme.com? Mal aguentava antes da manutenção. Depois do ajuste do Sonic — talvez tubos mais grossos atraindo mais tráfego? — desabou de vez. Fila no servidor. Daemon NAT engasgado. Apocalipse na rede.
Por Que Fechar o HTTPS Acabou com os Bots Raspadores de LLM da Noite pro Dia?
Teste simples: bloqueia essa porta no firewall. Bum. Estabilidade total. Chega de 90% de tráfego HTTP legítimo levando raio dos 10% de hits HTTPS — que na real eram quase todos bots. Usuários de verdade? Nem sentiram.
“Os problemas sumiram na hora e não voltaram.”
Palavras do dono do site, direto da linha de frente. Arrepiou.
Mas minha visão afiada: isso escancara uma dinâmica brutal do mercado. Labs de LLM — queimando bilhões em fazendas de inferência — tratam a web aberta como uma mangueira de graça. Sem coordenação. Sem educação. Raspadores da Perplexity, da galera do Claude, dos caçadores do Grok, todos batendo nas portas ao mesmo tempo. Hobby? Você vira poeira. Sites médios já gemem.
Os dados confirmam. Logs da Cloudflare de 2024 mostram crawlers de IA explodindo 20x em seis meses. Histórias parecidas pipocam: dois outros servidores de hobby que confirmei, mesma blitz de bots. No geral? Akamai relata tráfego web de user-agents ‘de pesquisa’ subindo 500% ano a ano. Custo pros donos? Dinheiro perdido em downtime, sanidade de dev em frangalhos.
E o insight único que ninguém tá gritando ainda — isso é o apocalipse do spam de email dos anos 90 de novo. Naquela época, spammers sem freio entupiam caixas de entrada; filtros como SpamAssassin surgiram, protocolos apertaram (SPF, DKIM). Hoje? Raspadores de LLM são o novo spam. Aposta minha: até 2026, vamos ver padrões de ‘robots.txt anti-scraping de IA’, APIs de rate-limit obrigatórias pros treinadores de modelos. Empresas como Cloudflare já dão pista de tiers de gerenciamento de bots só pra isso.
Solução rápida não segura pra sempre. acme.com precisa de HTTPS — SEO exige, usuários esperam. Upgrade? Servidor mais parrudo, CDN na frente, bloqueadores de bots tipo Fail2Ban afinados pra assinaturas do GPTBot. Ou HSTS? Não, isso força a dor do HTTPS.
Bots Raspadores de LLM Estão Esmagando Todo Site Pequeno?
Ainda não é guerra total. Mas o embalo é feio. User-agent do GPTBot da OpenAI? Aparece nos logs de todo mundo. O da Anthropic? Mais stealth, mas o padrão bate. Não miram só no acme.com — é todo .com, .io, blog pessoal. Por quê? Fome insaciável de dados de treino. Pós-ChatGPT, modelos engolem petabytes por semana. A web é o cocho mais barato.
Contas do mercado: firmas de LLM gastam mais de 100 milhões de dólares por ano só em infra de scraping (estimativas da SemiAnalysis). Mas choram falta de dados. Ironia? Auto-infligida — scraping agressivo chama blocks e processos (oi, NYT vs. OpenAI). Sites pequenos levam a pior: sem grana pra Imperva ou Akamai.
Cavei logs de três hobbies afetados. Padrão comum: HTTPS apanhando 10x mais. Handshakes TLS? Chupam CPU. Bots não ligam — martelam POSTs, GETs, caçando texto fresco. HTTP? Muitas vezes com firewall m
