A Samsung marcou posição: os chatbots de hoje estão lentos demais para agentes de IA de verdade.
No AI Infrastructure Summit, a equipe de memória deles, nos EUA, definiu como meta 1.000 tokens por segundo por usuário. Os sistemas atuais ficam por volta de 100. Isso é um salto de 10x.
A resposta deles? Empilhar a memória diretamente sobre o chip.
Eles chamam de zHBM. Em vez de colocar a HBM ao lado do acelerador, você a coloca bem em cima. Pense como um quarto de hotel com elevador próprio até o saguão — caminho menor, menos espera.
Em comparação com a HBM5, a Samsung afirma até 8x mais desempenho e mais de 3x de eficiência energética. O risco óbvio é o calor do chip “vazar” para a memória. Eles dizem que isso é resolvido co-projetando a pilha com clientes do acelerador desde o primeiro dia.
Eles também apresentaram o zNAND-O, um conceito de NAND 3D para IA no dispositivo. Até 2030, eles esperam modelos de trilhões de parâmetros rodando em workstations — não apenas dentro de enormes centros de dados. Só DRAM seria caro demais. O zNAND-O poderia fazer o mesmo trabalho por cerca de um sexto do custo. Amostras previstas para 2028.
Esta é uma conversa de roadmap, não uma data de envio.
Mas a pergunta continua: se agentes realmente precisam de 1.000 tokens por segundo, empilhar supera apenas adicionar mais HBM ao lado do chip?
A arquitetura de memória está se tornando o gargalo. Quem resolver primeiro vence a próxima fase da infraestrutura de IA.
No AI Infrastructure Summit, a equipe de memória deles, nos EUA, definiu como meta 1.000 tokens por segundo por usuário. Os sistemas atuais ficam por volta de 100. Isso é um salto de 10x.
A resposta deles? Empilhar a memória diretamente sobre o chip.
Eles chamam de zHBM. Em vez de colocar a HBM ao lado do acelerador, você a coloca bem em cima. Pense como um quarto de hotel com elevador próprio até o saguão — caminho menor, menos espera.
Em comparação com a HBM5, a Samsung afirma até 8x mais desempenho e mais de 3x de eficiência energética. O risco óbvio é o calor do chip “vazar” para a memória. Eles dizem que isso é resolvido co-projetando a pilha com clientes do acelerador desde o primeiro dia.
Eles também apresentaram o zNAND-O, um conceito de NAND 3D para IA no dispositivo. Até 2030, eles esperam modelos de trilhões de parâmetros rodando em workstations — não apenas dentro de enormes centros de dados. Só DRAM seria caro demais. O zNAND-O poderia fazer o mesmo trabalho por cerca de um sexto do custo. Amostras previstas para 2028.
Esta é uma conversa de roadmap, não uma data de envio.
Mas a pergunta continua: se agentes realmente precisam de 1.000 tokens por segundo, empilhar supera apenas adicionar mais HBM ao lado do chip?
A arquitetura de memória está se tornando o gargalo. Quem resolver primeiro vence a próxima fase da infraestrutura de IA.