(文/观察者网 吕栋 编辑/张广凯)
高带宽内存(HBM)的价格又要大涨了。
当地时间11月5日,熟悉韩国存储巨头SK海力士的人士确认,该公司明年向英伟达供应的HBM4单价约为560美元(约合人民币3991元),比目前供应的HBM3E(约合370美元)价格高出50%以上。
高端的HBM这么贵,并且中国还遭受出口管制,有没有办法减轻对这种产品的依赖?
华为刚开源的技术或许能成为其中一个解决之道。11月5日,华为宣布针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式开源。
这种技术的关键之处在于,可以根据记忆热度,在不同存储介质中分级缓存数据。比如在HBM中存储“实时记忆数据”,在DRAM中存储“短期记忆数据”,在SSD中存储“长期记忆数据与外部知识”。
这么做的好处是,可以分级管理推理过程中产生的KV Cache记忆数据(优化计算效率、减少重复运算),充分利用不同存储介质的特性,提高HBM的利用率,还能平衡成本。
华为透露,UCM架构包含了多个协同工作的关键功能模块,比如UCM稀疏化模块(UcmSparsebase)、稀疏化KV管理器(SparseKVManager)、KV Cache存储组件 (UcmKVStorebase)和UCM连接器(UC Connector)等。基于该架构,UCM目前具备四大关键能力:稀疏注意力、前缀缓存、预填充卸载和异构PD解耦,可实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展。
![]()
图源:华为数据存储
配合UCM技术,华为今年8月曾经推出多款高性能AI SSD。比如,Huawei OceanDisk EX 560的随机写性能最高可达1500K IOPS,适用于AI一体机训练场景;Huawei OceanDisk LC 560最大单盘物理容量245TB,读带宽可达14.7GB/s,适用于集群训练场景等。
“AI SSD聚焦提升训练效率和推理体验, 存储器领域不会仅有HBM一枝独秀,有望形成百花齐放的竞争态势。华为计划与一体机厂商合作,改变现有局面,为AI存储器市场注入新活力,带来更多可能性。”有知情人士对观察者网说道。
当下,国外厂商在HBM领域仍然拥有技术和价格的主导权。Counterpoint Research的报告显示,SK海力士在二季度的全球HBM市场上以62%的出货量占据首位,美光科技(21%)和三星电子(17%)紧随其后。按照SK海力士的产品计划表,HBM4已于9月完成开发并投入量产,将于今年第四季度开始出货,并计划于明年全面扩大销售。
HBM4是HBM第六代产品,其2048位接口和最高16层的堆叠将带来带宽和容量的巨大提升,带宽目标超过2 TB/s,容量可达64GB。业界特别是三星和SK海力士正在探索将HBM堆栈更直接地连接到处理器(如GPU)芯片上,甚至研究在中间层使用光子技术以追求极致的传输速度和能效。这种深度融合可能会模糊逻辑芯片和存储芯片之间的界限,让两者更紧密地集成在一起。
在出口管制和技术追赶下,中国企业难以获得充足的高端HBM。而UCM作为一种记忆数据分级管理技术,开源的关键意义,在于能让更多开发者和企业通过记忆数据分级管理,降低对高端HBM的依赖。但它不是为了取代,也无法取代HBM,而更像是华为的另一种“系统补单点”,把HBM的优势发挥在更合适的地方,实现降本增效。
除了推出UCM,华为在今年的全连接大会上还公布了自研HBM。
华为轮值董事长徐直军当时表示,华为自研了两种HBM,分别是:HiBL 1.0和HiZQ 2.0。不同的自研HBM与Ascend 950 Die合封,分别构成芯片Ascend 950PR:面向Prefill和推荐场景,以及Ascend 950DT:面向Decode和训练场景。其中Ascend 950PR采用了华为自研的低成本HBM,HiBL 1.0,相比高性能、高价格的HBM3e/4e,能够大大降低推理Prefill阶段和推荐业务的投资。
本文系观察者网独家稿件,未经授权,不得转载。





京公网安备 11011402013531号