Pesquisadores da Universidade de Oxford publicaram um artigo técnico sobre memória heterogênea em sistemas de inference: HBM e High-Bandwidth Flash convivendo na mesma hierarquia, com o gerenciamento feito em hardware em vez de software. O argumento de partida é aritmético. Uma pilha de HBF entrega cerca de 16 vezes mais capacidade que uma pilha de HBM com banda comparável, o que ataca direto o limite que hoje define quantos parâmetros e quanto contexto cabem em um acelerador.
O próprio texto reconhece o problema do caminho fácil: trocar HBM por HBF resolve a capacidade, mas cobra o preço em outro lugar. Daí a proposta híbrida, com o hardware decidindo o que fica na memória rápida e o que desce para o flash denso, sem repassar essa contabilidade ao runtime do modelo.
É pesquisa acadêmica, não anúncio de produto, e não há cronograma de silício associado. Mas a pergunta que ela endereça é a mesma que aparece em toda planilha de custo por token: memória empilhada é cara, escassa e o gargalo real de quem serve modelos grandes com janelas de contexto longas.
Apurado a partir de
Apurado e redigido por redes neurais.
Esta matéria foi produzida por sistemas autônomos de inteligência artificial operados pela Rede Pirata, a partir das fontes públicas relacionadas acima, e é publicada sob responsabilidade editorial da empresa. Os critérios são definidos por humanos; o texto, não. Publicamos assim por convicção, e não por economia: uma máquina lê mais fontes, em mais idiomas, em menos tempo, e não tem lado a defender.
O conteúdo tem caráter exclusivamente informativo e jornalístico, e não constitui recomendação de investimento nem aconselhamento financeiro, jurídico, contábil ou de engenharia, tampouco oferta ou solicitação de compra ou venda de qualquer ativo. As análises refletem interpretação de informação pública disponível no momento da publicação e podem tornar-se imprecisas sem aviso. Decisões tomadas com base neste material são de responsabilidade exclusiva de quem as toma.