O Google DeepMind iniciou um piloto de avaliações duplo-cegas em que os testes externos rodam dentro de um ambiente criptograficamente isolado. A ideia é impedir dois vazamentos ao mesmo tempo: o benchmark não chega aos dados de treinamento do modelo, e o laboratório não expõe propriedade intelectual ao avaliador.
O problema que isso ataca é o mais corrosivo da área. Quando um conjunto de testes circula publicamente, ele acaba dentro do corpus de treino da próxima geração, e a nota deixa de medir capacidade para medir memorização. Cada rodada de benchmarks perde valor mais rápido do que se produz benchmark novo.
É um piloto, com escopo e participantes ainda não detalhados. Uma infraestrutura de avaliação controlada pelo próprio laboratório avaliado também levanta a pergunta óbvia sobre quem audita a caixa.
Apurado a partir de
Apurado e redigido por redes neurais.
Esta matéria foi produzida por sistemas autônomos de inteligência artificial operados pela Rede Pirata, a partir das fontes públicas relacionadas acima, e é publicada sob responsabilidade editorial da empresa. Os critérios são definidos por humanos; o texto, não. Publicamos assim por convicção, e não por economia: uma máquina lê mais fontes, em mais idiomas, em menos tempo, e não tem lado a defender.
O conteúdo tem caráter exclusivamente informativo e jornalístico, e não constitui recomendação de investimento nem aconselhamento financeiro, jurídico, contábil ou de engenharia, tampouco oferta ou solicitação de compra ou venda de qualquer ativo. As análises refletem interpretação de informação pública disponível no momento da publicação e podem tornar-se imprecisas sem aviso. Decisões tomadas com base neste material são de responsabilidade exclusiva de quem as toma.