高通HBC芯片通过验证:AI推理带宽提升18倍

当地时间11月2日,高通宣布,其首代高带宽计算(High Bandwidth Compute,简称HBC)芯片已在美国圣迭戈实验室完成硬件验证。这不是一款新产品的正式发布,而是一项关键技术的“从图纸到硅片”的跨越:高通为AI推理准备的近存计算架构,第一次用真实硅片证明了自己能跑通。

验证了什么:内存读写与近存计算都跑通了

根据高通的说法,本次验证覆盖了完整的内存读写路径和近存计算能力。测试在自动化测试设备上进行,采用了与生产场景相当的尺寸,并使用随机权重与激活值,目的是模拟真实推理负载下的数据流动,而不是只跑一个理想化的理论模型。

HBC的核心思路并不复杂,但工程难度不低:把低功耗LPDDR内存芯片垂直堆叠在一颗有源AI加速器基底芯片之上,两者通过晶圆对晶圆键合直接连接。这样一来,数据需要走的距离从传统的毫米级缩短到微米级,大部分推理计算可以直接在内存旁边完成,不必反复把模型数据搬运到远处的计算单元。

高通同时表示,一款数据中心产品已经完成流片,相关逻辑基底与堆叠DRAM的初步测试正在进行中。换句话说,HBC正在从单项技术验证,走向可以装进产品的完整平台。

关键数字:18倍带宽、5倍以上每瓦带宽

高通公布的测量结果是:首代HBC的有效内存带宽达到LPDDR5X的18倍,每瓦带宽则超过预计HBM4规格的5倍。这里需要准确理解口径:这两个数字衡量的是数据搬运能力,而不是“整个大模型跑快18倍”或“整机功耗降到五分之一”。

有报道指出,能效提升略低于高通此前预期的6倍目标。高通自己的说明也留了余地:相关数字是基于实测硅片结果、按目标工作条件归一化,并与已公布的竞品规格对比得出的估算值,最终表现会因具体实现、工作负载和系统配置而变化。测试样品采用的是两层DRAM堆叠,而量产产品计划采用四层堆叠。

  • 有效带宽:LPDDR5X的18倍
  • 每瓦带宽:预计HBM4规格的5倍以上
  • 测试样品:两层DRAM堆叠;量产产品计划:四层DRAM堆叠
  • 下一站:Dragonfly AI250,预计2027年上半年送样

为什么推理需要HBC:瓶颈在“搬数据”

对大模型推理来说,每生成一个token,都要把模型参数送到计算单元。模型越大、并发越高,这个“喂数据”的过程就越吃力,内存带宽往往先于算力成为瓶颈。传统高带宽内存(HBM)能提供高带宽,但成本和功耗都不低;LPDDR成本和功耗更友好,带宽却跟不上数据中心推理的需求。

HBC试图走第三条路:用更便宜、更省电的LPDDR,通过三维堆叠和近存计算把有效带宽拉上去。如果这条路走通,推理服务的单位成本有望下降,这对正在为内存涨价和供应紧张头疼的数据中心运营商来说,是一个值得关注的变量。

这也解释了高通的整体布局:它并不满足于只做手机芯片,而是想把推理加速器、服务器CPU和整机架方案打包成数据中心产品线。高通此前已经公布了面向数据中心的Dragonfly AI200与AI250,而HBC正是AI250的关键内存底座。

落地时间表:2027年上半年送样

按照高通的规划,搭载HBC的Dragonfly AI250将在2027年上半年开始向企业客户和超大规模客户送样,并纳入Dragonfly Rack全栈推理基础设施方案。高通披露的整机架指标是:全液冷机架,系统内存容量38.6TB,有效内存带宽7.4PB/s。

更远的时间表也已经排定:基于Oryon架构的C1000服务器CPU计划于2027年部署,搭载下一代HBC的Dragonfly AI300则计划于2028年推出。也就是说,HBC不是一次性的技术演示,而是高通未来两年数据中心路线图的一部分。

仍需验证的三件事

首先是量产良率。高通称本次验证支持其明年实现高产良率的目标,但目前并未公布已经实现的良率数字。晶圆对晶圆键合的良率、缺陷重映射与冗余机制是否经得起量产考验,将直接决定成本。

其次是系统级性能。实验室里的带宽数字能否转化为真实推理任务中的吞吐提升和延迟改善,还要看AI250整卡、整机架的实测表现,以及软件栈对近存计算的适配程度。

最后是独立验证。目前的数字全部来自高通自己的实验室,尚未经过第三方独立基准测试。在AI250真正送样、客户拿到硬件之前,市场对HBC的判断仍应停留在“有潜力的架构验证”这个阶段。

尽管如此,HBC的验证仍然是一个值得记录的节点:AI芯片的竞争,正在从单纯比拼算力,转向比拼“如何更便宜、更省电地把数据送到算力面前”。高通选择用堆叠内存加近存计算来回答这个问题,而答案是否成立,2027年的送样将是第一次真正的检验。

发表评论