迈威尔光子织物:用光把32TB内存共享给16颗GPU

在AI推理的瓶颈从算力转向内存之际,迈威尔(Marvell)正在把“内存”从单颗芯片的附属品变成可以跨机架共享的资源。在本周的PECC峰会上,迈威尔光子织物业务高级产品总监Ravi Mahatme进一步披露了光子织物内存设备(Photonic Fabric Memory Appliance,简称PFMA)的细节:一套设备可把16TB至32TB的DDR5内存共享给最多16台服务器或AI处理器,而连接它们的不是铜线,是光。

一台设备,16个主机共享32TB内存

PFMA的核心思路是“内存解耦”:不再要求每颗GPU或XPU自带足够内存,而是把内存池化、按需分配。设备由16个光子织物内存模块组成,各模块通过无源光纤洗牌网络互联,对外呈现统一的共享地址空间。设备内含128个标准DDR5内存插槽,以及约1TB的HBM3e,可作为DDR5内存池的缓存层。按迈威尔公布的单模块指标,每个模块配备72GB HBM3e、最高2TB DDR5内存,光织物带宽为7.2Tbps。

在传输距离上,该架构的最远设计目标为50米,而峰会披露的实际部署目标是25至30米,足以实现跨机架的内存共享。延迟方面,厂商给出的目标在数百纳秒量级,但峰会材料本身标注其为售前估算,尚未经过量产系统验证,实际表现仍需送样实测。

两种接入方式,两种内存层级

迈威尔为PFMA准备了两条接入路径:一是通过PF-NIC卡,以PCIe Gen6 x16或CXL 3.x接口连接服务器,走标准扩展槽路线,部署门槛较低;二是把PF-Chiplet直接集成进XPU封装,带宽更高,但需要芯片厂商在封装设计阶段就参与配合。按迈威尔的层级划分,小芯片直连版本属于G1.5层级,位于本地HBM之下;服务器接入版本属于G2.5层级,介于系统DRAM与存储之间。两种路径面向的客户和部署节奏并不相同,前者更像给现有服务器加一块“共享内存卡”,后者则是下一代加速器封装的一部分。

为什么瞄准的是KV缓存

PFMA瞄准的具体痛点,是AI推理中的KV缓存。模型在生成回答时,需要把已经处理过的上下文以键值(Key-Value)形式暂存下来,以便复用、避免重复计算。随着推理模型和智能体应用的对话越来越长,这部分缓存很容易超过单颗处理器旁边的内存容量。传统解法只有两种:多买加速器换内存,或者把缓存卸载到SSD——前者昂贵,后者太慢。共享内存池的逻辑是:让一台处理器闲置的内存容量能被另一台处理器用上,既不用多买整颗芯片,也不用忍受存储级延迟。

迈威尔在峰会上引用仿真分析称,在相同算力、相当的首字延迟条件下,共享内存配置可支持约6倍的并发对话。但这只是仿真结果,不是量产实测;迈威尔对外更宽泛的说法——推理token吞吐提升2至3倍——同样属于厂商预测。数字是否站得住脚,取决于缓存命中率、访问模式、光纤长度和多主机并发争用等多个变量,不能只看峰值带宽。

背景:这不是一张新PPT

光子织物架构并非本周才出现。2026年8月,迈威尔随新一代AI内存产品组合首次公布该架构,同批产品还包括Structera X内存扩展平台(基于CXL协议)和Bravera SC6固态硬盘主控;光子织物技术本身来自迈威尔在2026年2月2日完成收购的Celestial AI。随后,相关模块在10月6日的投资者日上展出。按目前的时间表,迈威尔计划在2027年向多家客户送样,这意味着从架构公布到客户手里,中间还有一年的工程化过程。

影响与展望:内存正在变成“集群资源”

如果光共享内存最终跑通,它改变的将是数据中心的成本结构:运营商可以按需配置内存,而不必为了内存容量多买整颗加速器;对推理成本敏感的超大规模云厂商而言,这可能直接影响单位token的成本。同时,它也给内存、光互连和先进封装供应商打开了新的器件机会——光模块、光芯片和CXL控制器都可能因此获得新的增量市场。

但变数同样明显:首先是软件,跨节点共享缓存需要推理框架和调度系统配合管理缓存的存放、查找与复用,硬件到位不等于生态到位;其次是真实负载下的带宽、延迟与功耗表现,仿真中的6倍并发能否在生产环境复现,仍是未知数;最后是竞争路线,英伟达等厂商也在用各自的互连与内存方案争夺AI基础设施的话语权,开放的光共享方案能否获得足够多的芯片厂商支持,是决定其成败的关键。短期内,它改变不了任何一款已上市GPU的内存配置,但它指出了一个方向:下一代AI基础设施的竞争,可能先在“内存怎么连”上分胜负,而不只是比谁的芯片算力更强。2027年的客户送样,将是这项技术的第一次硬检验。

发表评论