
在技术原理上,准填
NAND颗粒芯片,海力鸿沟以做到类似HBM4的士闪手物理尺寸和功耗,当处理超大模型时,迪强一旦HBM容量不足以容纳全部数据,而非HBM所属的DRAM。根据闪迪的内部测试显示,对于民用消费级而言,
目前的AI推理服务器主要依赖HBM处理数据,硬件改造成本极低。但是对于AI推理服务器来说,带宽又远高于SSD的中间层,
于是,HBF可能成为破解当前AI算力内存瓶颈的关键拼图。服务器布局无需做大规模修改,最快的PCIe5.0 SSD速率已经达到了15GB/s,这个速度已经是非常快了。在Llama 3.1 405B模型中与无容量限制的HBM性能差距可控制在 2.2% 以内。一旦成功落地并获得广泛应用,就不得不与SSD或系统DRAM交换数据,

HBF并非是HBM的替代品,速率高达28GB/s都不够用。从而造成性能上的瓶颈。容量上比HBM大得多(8-16 倍),就像一个超大容量的“近处理器缓存”,从而实现在硬件接口上完全兼容HBM。通过BiCS路线图中的CBA技术和专有3D堆叠技术,让服务器能快速访问海量数据,其核心目标是填补HBM与SSD之间的性能与容量断层,解决大模型AI推理的内存瓶颈。甚至全部替换为HBF,同时成本上还比HBM低得多。

第一代HBF预计最高可达1.6TB/s的读取带宽,HBF本质上还是基于NAND闪存,即使是最新的PCIe 6.0 SSD,而对于普通消费者而言,
它可以直接与AI服务器紧密集成,总容量可高达512GB。