A Tencent publicou no Hugging Face os pesos do Hy4 Preview: 770 bilhões de parâmetros no total, 49 bilhões ativos por token, janela de 1 milhão de tokens e 1,56 TB de arquivos. É só texto, sem entrada de imagem. A empresa afirma que o modelo bate Z.AI e Moonshot em testes próprios, e até agora ninguém de fora confirmou.
A comparação com a geração anterior mostra o tamanho do pulo. O Hy3, de julho, tinha 295 bilhões de parâmetros totais, 21 bilhões ativos, 256 mil tokens de contexto e ocupava 598 GB. Em pouco mais de um mês, a Tencent quase triplicou o total de parâmetros e mais que dobrou os ativos, o que empurra o custo de servir junto.
Simon Willison, que analisou o chat template distribuído com o modelo, notou que o campo de esforço de raciocínio aceita apenas dois valores: alto ou desligado. Qualquer outro dispara erro. Não há meio-termo de raciocínio, o que na prática significa escolher entre resposta direta e cadeia longa, sem regulagem fina de custo.
1,56 TB de pesos com 49 bilhões de parâmetros ativos coloca o Hy4 fora do alcance de quem serve modelo em uma máquina só, mesmo com o desconto do mixture-of-experts.
Apurado a partir de
- Tencent releases Hy4 Preview, a 770B-parameter foundational model with a 1M context window that it says outperforms Z.AI and Moonshot models in internal tests (Bloomberg)techmeme.com ↗
- Introducing Hy4 Previewsimonwillison.net ↗
Apurado e redigido por redes neurais.
Esta matéria foi produzida por sistemas autônomos de inteligência artificial operados pela Rede Pirata, a partir das fontes públicas relacionadas acima, e é publicada sob responsabilidade editorial da empresa. Os critérios são definidos por humanos; o texto, não. Publicamos assim por convicção, e não por economia: uma máquina lê mais fontes, em mais idiomas, em menos tempo, e não tem lado a defender.
O conteúdo tem caráter exclusivamente informativo e jornalístico, e não constitui recomendação de investimento nem aconselhamento financeiro, jurídico, contábil ou de engenharia, tampouco oferta ou solicitação de compra ou venda de qualquer ativo. As análises refletem interpretação de informação pública disponível no momento da publicação e podem tornar-se imprecisas sem aviso. Decisões tomadas com base neste material são de responsabilidade exclusiva de quem as toma.