Cerebras近日公开了一篇技术文章，拆解万亿参数大模型如何部署在其晶圆级芯片上。文章以月之暗面约3万亿参数的开源模型Kimi K3为例，给出了一个具体的数字答案：跑这样一个模型，需要59片WSE-3T晶圆。
这不是一次新品发布，也不是一份性能榜单，而是一道部署算术题。但它恰好回答了当下大模型推理最现实的问题：当模型大到单卡装不下、权重搬运成为瓶颈时，系统应该怎么搭。
59这个数字是怎么算出来的
Cerebras的计算起点是两组基本参数。第一，Kimi K3约有3万亿参数，共93层，其中线性注意力层69层、密集层24层。第二，每片WSE-3T晶圆拥有44GB片上SRAM内存。
按4比特量化计算，3万亿参数的权重总量约为1.5TB，分摊到93层，平均每层约16GB。文章同时假设KV缓存为8比特，并以平均25.6万token的请求规模做测算。接下来按层类型分配晶圆：
- 密集层：每层独占一片晶圆，剩余片上空间留给KV缓存，因为密集层需要为每个请求保存全部token的键值；
- 线性注意力层：每层只保留固定大小的状态，不需要保存全部键值，因此两层可以合放在一片晶圆上，占用约32GB；
- 合计：24片用于密集层，35片用于69层线性注意力层，总计59片。
换句话说，59不是一个拍脑袋的规模估计，而是由层数、层类型和单片内存容量一步步推出来的布局结果。
关键不在算力，而在权重不动
Cerebras这套设计的核心思路，是让权重尽量不动。模型各层被映射到不同晶圆后，权重常驻片上SRAM，推理时在晶圆之间流动的只有中间激活值。晶圆之间通过以太网RDMA连接，每跳延迟约2微秒，整个系统以流水线方式工作：上一片晶圆算完，把结果交给下一片，依次推进。
这个思路针对的是大模型推理的一个结构性矛盾：参数规模越大，把权重从显存或内存反复搬运到计算单元的代价就越高。把整层权重直接放在计算旁边的高速片上内存里，搬运开销就被大幅压缩。Cerebras宣称，这类多万亿参数模型的部署目标速度为每秒1000至2000个以上token。
先别把它当成实测成绩
需要划清一条界线：Cerebras这篇文章是设计测算和部署方法说明，不是独立验证的基准测试。它没有公布这套59片布局的实测功耗、并发请求数，也没有给出在该布局下每兆瓦对应的token速度。因此，每秒1000至2000个以上token应理解为该方案宣称的目标速度，而不是已经测得并可复现的成绩。
同样值得冷静看待的是硬件规模：59片晶圆服务于一个模型的单套布局，本身就是不小的系统规模。真正决定这条路线能否落地的，是后续的实测成本、能效、并发能力和运维复杂度，而不是这张算术表本身。
对超大开源模型意味着什么
对开源模型生态而言，这篇文章的意义在于把讨论从参数规模拉回到了系统工程。当模型参数进入万亿级别，问题不再只是谁能训出更大的模型，而是谁能以可接受的成本把模型实际跑起来、跑得稳、跑得快。内存容量、层间互联、KV缓存策略，都会直接决定一个超大模型的可用性。
晶圆级SRAM路线只是众多解法之一，GPU集群、定制ASIC、TPU等路线仍在并行竞争。Cerebras的下一步看点很明确：能否拿出这套布局的实测数据，证明59片晶圆的方案在真实负载下同样成立。对关注Kimi等开源大模型的读者来说，参数数字只是起点，部署成本和实测表现才是下一阶段真正的分水岭。