Why memory chips are the new frontier of the AI revolution

创新助力 SK 海力士超越三星，并让芯片制造商陷入日益加剧的紧张局势之中

高带宽内存设计，例如 SK 海力士和三星生产的 HBM3E，正在改变整个行业，并改变顶级厂商的历史顺序。 © FT montage/Bloomberg

在 SK 海力士庞大的 M14 芯片制造厂，身穿白色、粉色和蓝色洁净服的工人们检查着一排排的机器，700 台机器人沿着高架轨道快速移动，将硅晶圆运送到制造过程的不同阶段。

该工厂位于韩国利川市的公司主园区，生产高带宽内存 (HBM) 芯片，每秒可传输相当于 200 部长片电影的数据。

几十年来，内存芯片一直是半导体行业中不起眼的领域，被 AMD、高通、Nvidia 和台积电等公司设计和生产的用于进行计算和控制电子设备运行的逻辑芯片或处理器芯片所掩盖。

但HBM设计，例如利川工厂生产的HBM3E，正在改变存储器行业。SK海力士副总裁兼HBM业务规划负责人崔俊勇指出，在传统的动态随机存取存储器（DRAM）中，“客户优先考虑成本而不是功耗和性能，而对于HBM，他们优先考虑功耗和性能而不是成本”。

他们正在帮助所谓的大型语言模型的开发人员减轻“内存墙”的影响——存储和检索数据的限制阻碍了性能的提高——同时提高全球在建的数千个数据中心的效率并降低成本。

内存对人工智能日益增长的重要性，使该行业成为华盛顿与北京之间日益激烈竞争的焦点。华盛顿正试图限制中国获取尖端技术，而北京则在培育国内半导体行业，希望能够与全球竞争对手展开竞争。

这也改变了行业巨头的历史排名。SK海力士的DRAM（HBM是其中的一部分）营收从2021年第二季度的7.5万亿韩元（54亿美元）飙升至2025年同期的17.1万亿韩元，自20世纪80年代两大韩国企业开始在内存市场竞争以来，首次超越其主要竞争对手三星。

塔夫茨大学副教授、 《芯片战争》一书的作者克里斯米勒表示：“五年前，SK海力士超越三星还是不可想象的。这就像胡椒博士 (Dr Pepper) 突然变得比可口可乐更受欢迎一样。”

米勒表示：“几十年前就很明显，内存市场的商品动态将使获得巨额利润变得非常困难。” 他补充道，这促使许多最聪明的人才以及像英伟达的黄仁勋和高通的欧文雅各布斯这样的雄心勃勃的企业家将注意力转向了处理器芯片。

“但现在，记忆又恢复了。”

英特尔于 20 世纪 60 年代作为一家内存芯片公司起步，但在日本竞争对手东芝和 NEC 的压力下于 20 世纪 80 年代退出了 Dram 领域。

而它们在20世纪90年代被三星和现代电子（Hynix）的芯片部门所取代，后者后来被SK集团收购。自此以后，这两家韩国集团和美国美光公司一直主导着该行业。

直到最近，三星一直是高度商品化的DRAM芯片市场无可争议的领导者。DRAM芯片在处理器运行时供电并临时存储数据。在周期性行业低迷时期，三星利用其优越的规模投资产能。

Choi 解释说，虽然 Dram 和低价值 Nand 芯片（无需电源即可长时间存储数据）是主导技术，但公司也在尝试更多利基产品。

海力士于 2013 年开始研发的 HBM 芯片就是其中之一。这种芯片由层层堆叠的 DRAM 单元组成，这些单元通过厚度仅为人类头发十分之一的铜线连接，就像一个多层图书馆，配有电梯，可以在楼层之间快速运送书籍。

Choi 解释说，这意味着 HBM 芯片可以提供 1,024 条路径来与处理器之间发送和接收数据，而传统的高级 DRAM 芯片只有 64 条。“这就像注水箱的水龙头数量，或者高速公路上的车道数量，”他说道。“就 AI 的内存需求而言，没有什么能比得上 HBM。”

咨询公司 Futurum Group 的首席半导体分析师 Ray Wang 也指出，海力士早期采用的先进键合技术，即大规模回流成型底部填充技术 (MR-MUF)，是其 HBM 成功的关键。该技术使用一种特殊的树脂基绝缘材料来防止过热，这在堆叠多达 16 个 Dram 芯片时至关重要。

海力士与其日本供应商 Namics Corporation 签订的材料独家合同迫使三星和美光公司采用劣质制造工艺，该工艺需要高温和高压，而这两者都可能导致硅层破裂并导致更高的故障率。

其卓越的产品帮助海力士巩固了其作为 Nvidia HBM 芯片主要供应商的地位，并使其在 OpenAI 的 ChatGPT 聊天机器人于 2022 年底发布后对 AI 芯片的需求激增时，搭上了这家美国公司的便车。

根据伯恩斯坦研究公司的数据，HBM 在海力士整体 Dram 收入中的份额从 2022 年第四季度的 5% 左右上升到 2025 年第一季度的 40% 以上。

咨询公司 SemiAnalysis 的 Myron Xie 指出，虽然美光公司的 HBM3E 芯片现已通过了用于 Nvidia 最先进 AI 芯片的严格资格测试，但三星的同类芯片尚未通过。

知情人士表示，其 HBM3E 芯片即将通过英伟达的测试。但他们也承认，作为这个直到最近才商品化的市场的主导者，该公司对人工智能企业对更符合其特定需求的定制化内存解决方案的需求感到措手不及。

“三星也在为生产尖端 Dram 芯片这一基本任务而苦苦挣扎，这些芯片最终会被堆叠到 HBM 中，”谢说道。“美光表现不错，但三星排在第三位，这对它来说也相当不利。”

米勒补充道，三星“针对的是智能手机时代”，而非人工智能时代。“我认为整个公司都在努力设想，当智能手机不再是主导产品时，世界会是什么样子。”

事实证明，这是一次代价高昂的失误。花旗集团驻首尔的半导体分析师彼得李（Peter Lee）指出，HBM芯片的利润率约为50%至60%，而传统DRAM芯片的利润率约为30%。

由于每个 HBM 芯片都需要设计为适合与其配对的特定 AI 图形处理单元，因此订单必须在生产前一年下达，通常是一年期合同。

李补充道：“与销售传统 Dram 相比，这为内存公司提供了比潜在客户更大的定价优势，传统 Dram 可以在一个月甚至一天内购买，并且可以轻松更换为竞争对手芯片制造商的产品。”

王估计，自 ChatGPT 发布以来，三星的失误每年造成数百亿美元的收入损失。“他们应该意识到机器学习的兴起对内存需求的影响，”他说。

“低估 HBM 的潜力是一个巨大的战略错误。”

如果 HBM 的崛起扰乱了内存市场高端的旧秩序，那么另一个扰乱因素则正从底层涌现：中国内存冠军企业长鑫存储科技（CXMT）。

据深圳前瞻咨询公司称，总部位于中国东部安徽省合肥市的长鑫存储科技在全球 Dram 市场的份额已从 2020 年的接近零上升至去年的 5%。

目前尚不清楚长鑫存储技术在传统 Dram 方面的进步是否能够使其在量产尖端 HBM 芯片方面赶上海力士、三星和美光——这一进展可能会减少中国人工智能开发商和芯片制造商对外国公司关键部件的依赖。

《金融时报》上个月报道称，长鑫存储正在测试HBM3产品样品（比HBM3E落后一代），计划明年推出。但分析师和业内人士仍怀疑，由于无法获得受美国出口管制的关键设备和材料，长鑫存储能否在短期内弥补HBM缺口。

“在最近一轮管控措施出台之前，长鑫存储囤积了大量所需设备，”富图伦集团的王先生表示，“但该公司无法使用极紫外光刻机，而且目前尚不清楚他们是否拥有足够的设备来量产先进的高带宽存储器 (HBM) 产品，其规模与领先的存储器厂商相当。” 他估计，长鑫存储的 HBM 开发“落后三到四年”。

上周，美国政府撤销了允许海力士和三星无需许可就将芯片制造设备运送到其在中国的制造工厂的豁免，王先生表示，这一决定“凸显了华盛顿进一步限制中国获取内存技术的意图”。

去年 12 月，美国出口管制限制韩国 HBM 供应之前，中国的科技集团和芯片制造商纷纷抢购 HBM，这表明 HBM 对中国人工智能雄心的重要性。

尽管有这些控制措施，但许多专家认为，美国政策制定者迟迟未能认识到内存对人工智能性能的核心作用，导致在最先进的处理芯片受到限制之后很长一段时间，中国企业仍然能够获得尖端内存技术。

虽然相当于 HBM2E 标准及以上的单个 HBM 芯片不能再出口到中国，但如果更先进的芯片被预先封装成不超过特定性能标准的 AI 芯片，则可以出口到中国。

SemiAnalysis 的谢先生举了 Nvidia 的 H20 芯片的例子，美国总统唐纳德特朗普以该芯片“过时”为由允许其向中国销售。

虽然 H20 的处理能力明显不如 H100，但其搭载的六个三星 HBM3 芯片实际上提供了更好的内存性能：每秒 4TB 的内存带宽，而 H100 为 3.4TBps，华为旗舰产品 Ascend 910c 为 3.2TBps。

谢指出，虽然计算性能对于训练人工智能模型更为重要，但内存被广泛认为对于部署（也称为推理）更为重要。

“从某些方面来看，H20 比 H100 更胜一筹，因为它拥有更大的内存容量和带宽，”谢志雄说道，“人们仍然过于关注计算能力，但这只是性能的一个方面。”

分析师表示，SK 海力士目前在 HBM 领域的主导地位可能仍会受到来自其他方面的压力。

这家韩国公司计划今年开始大规模生产其下一代 HBM4 芯片，该芯片将用于 Nvidia 即将推出的 Rubin 平台，为 LLM 开发人员提供性能上的实质性飞跃。

尽管 HBM3E 及其前代产品使用相对简单的 Dram 芯片作为其“逻辑芯片”——调节 HBM 堆栈操作的基础芯片——但这项任务将由新设计中台积电生产的先进处理器芯片执行。

三星的HBM4还将采用其自有代工部门生产的先进处理器芯片。一位知情人士向英国《金融时报》透露，作为唯一一家同时拥有处理器、内存芯片和先进封装（将多个芯片更紧密地集成在一起的工艺）尖端能力的公司，三星可以为客户提供“一站式服务”。

该人士补充说，该公司还在“与主要客户积极讨论”一种名为“混合键合”的技术，这是一种连接堆叠 Dram 芯片的改进方法，可以提供更大的带宽、功率和信号完整性。

如果所有零件都质量低劣，那么一站式服务就没什么价值

Futurum集团的王先生认为，谁能率先将混合键合技术融入其中，“就将决定谁将在下一代HBM领域占据领导地位”。他表示，中国企业也在大力投资相关研究，并加快混合键合相关的专利申请。

花旗集团的李指出，除了提高性能之外，使用处理器芯片作为逻辑芯片将越来越多地允许 HBM 产品针对特定任务进行定制，从而使客户更难以在供应商之间切换。

这引发了一个问题：HBM4 能否为三星的东山再起铺平道路。李教授表示，这家规模更大的公司有时间纠正其在 HBM3E 设计中犯下的错误，并将其用于 HBM4，这意味着它很可能有资格成为英伟达的供应商。

但王先生指出，海力士将继续受益于近期与英伟达的密切合作，以及与行业领军企业台积电的长期合作关系。周三，海力士发布了从阿斯麦公司（ASML）收购的高数值孔径极紫外光刻机，使其在HBM领域相对于竞争对手更具优势。

相比之下，SemiAnalysis 的谢指出，三星的代工和内存业务一直受到质量和生产问题的困扰。“如果所有单个零件都是劣质的，那么成为一站式服务商就没有多大价值了。”

三星在一份声明中表示，“该公司持续投资 HBM 业务，并专注于开发下一代内存技术”。

与此同时，无法规避美国出口管制的中国人工智能芯片制造商正在寻找减少对 HBM 的依赖以提高性能的方法。

华为上个月推出了一款新的AI软件，旨在将不同的内存任务分配给不同类型的内存芯片，从而减少对HBM的依赖。上周，这家中国科技巨头还发布了三款新的“AI固态硬盘”，作为替代的内存解决方案。

塔夫茨大学的米勒表示，由于 HBM 仍然相对昂贵且耗能，而且内存容量对 AI 性能至关重要，因此许多科技公司正在尝试开发替代方案。

其中包括日本科技集团软银，该公司正与英特尔合作开发一种采用与 HBM 不同的布线系统的堆叠 Dram 产品。

大多数分析师都认为，HBM 至少在未来五年内仍将主导内存解决方案。但更高程度的定制化可能意味着代工厂、芯片设计师以及客户自身将更深入地参与到设计和制造过程中。

谢警告说，这可能会威胁到内存公司从供应链中获取更多价值的雄心。“HBM堆栈外包给台积电和无晶圆厂设计公司的部件越多，内存公司就越有可能被那些实力雄厚的公司做最难的事情，”他说道。

“如果发生这种情况，那么这一刻可能会是苦乐参半的。”

本文出处：https://www.ft.com/content/f3ee292b-ba56-4e9f-944a-da26d5706583