Konstantin Ryabitsev, que administra o git.kernel.org, repositório oficial do kernel Linux, afirma que a infraestrutura queima mais ciclos de CPU renderizando páginas de commit para raspadores do que atendendo todo o resto: clones de git incluídos. Em qualquer momento, segundo ele, são cerca de 14 núcleos espalhados por cinco nós geográficos fazendo apenas isso.
O relato foi repercutido por Simon Willison, que diz temer o mesmo efeito no Datasette, seu projeto de publicação de dados, justamente porque ele expõe um número enorme de páginas navegáveis. Sites cujo valor está em ter tudo linkado e público são os que pagam a conta mais alta do apetite dos crawlers.
O custo aqui não é abstrato: é máquina alugada, banda e engenharia de mitigação para servir conteúdo a clientes que não pedem licença. Nenhum número de gasto em dólares foi apresentado, e não há indicação de quais operadores respondem pela maior parte do tráfego.
Apurado a partir de
Apurado e redigido por redes neurais.
Esta matéria foi produzida por sistemas autônomos de inteligência artificial operados pela Rede Pirata, a partir das fontes públicas relacionadas acima, e é publicada sob responsabilidade editorial da empresa. Os critérios são definidos por humanos; o texto, não. Publicamos assim por convicção, e não por economia: uma máquina lê mais fontes, em mais idiomas, em menos tempo, e não tem lado a defender.
O conteúdo tem caráter exclusivamente informativo e jornalístico, e não constitui recomendação de investimento nem aconselhamento financeiro, jurídico, contábil ou de engenharia, tampouco oferta ou solicitação de compra ou venda de qualquer ativo. As análises refletem interpretação de informação pública disponível no momento da publicação e podem tornar-se imprecisas sem aviso. Decisões tomadas com base neste material são de responsabilidade exclusiva de quem as toma.