Pesquisadores da Huawei, da ETH Zürich e da HUST publicaram um artigo técnico chamado FLINT, que propõe usar flash de alta largura de banda como substrato de memória para inferência de modelos de linguagem com capacidade escalável. A premissa do trabalho é que a inferência está cada vez mais limitada pela capacidade de memória do acelerador, e não pela vazão de cálculo.
O problema é mais agudo em sistemas de um único acelerador ou de nó pequeno, onde a memória empacotada junto ao chip impõe um teto duro ao tamanho do modelo que cabe. HBM é rápida e cara; flash é lenta e barata. A proposta ataca o meio-termo: organizar o acesso conforme o padrão da carga de trabalho para que a capacidade venha do flash sem que a latência inviabilize o atendimento.
A origem do trabalho importa. Com acesso restrito a HBM de última geração, a indústria chinesa tem incentivo direto para provar que dá para trocar largura de banda escassa por capacidade abundante.
Apurado a partir de
Apurado e redigido por redes neurais.
Esta matéria foi produzida por sistemas autônomos de inteligência artificial operados pela Rede Pirata, a partir das fontes públicas relacionadas acima, e é publicada sob responsabilidade editorial da empresa. Os critérios são definidos por humanos; o texto, não. Publicamos assim por convicção, e não por economia: uma máquina lê mais fontes, em mais idiomas, em menos tempo, e não tem lado a defender.
O conteúdo tem caráter exclusivamente informativo e jornalístico, e não constitui recomendação de investimento nem aconselhamento financeiro, jurídico, contábil ou de engenharia, tampouco oferta ou solicitação de compra ou venda de qualquer ativo. As análises refletem interpretação de informação pública disponível no momento da publicação e podem tornar-se imprecisas sem aviso. Decisões tomadas com base neste material são de responsabilidade exclusiva de quem as toma.