本文选自浙商研报，仅供学习参考
1 Agent 模式下存储与光需求对比
1.1 核心变量定义
1.1.1 定义详细解释
➢ 𝒅: 隐藏层维度
Transformer 架构中贯穿整个模型的核心维度，定义了每个 Token 在模型内部的向量表示大小。所有子层（注意力层、前馈网络）和嵌入层的输入输出维度均统一为 d，确保残差连接能够正常工作。通俗的讲，它决定了模型的宽度。
➢ 𝑳: 模型层数
Transformer 架构中重复堆叠的基本单元数量。每个基本单元包含一个多头自注意力子层和一个前馈网络子层，通过残差连接和层标准化连接。通俗的讲，它决定了模型的深度。
这两个变量共同决定了模型的总参数量，是 Transformer 架构最核心的结构常数。
1.2 存储与光的需求比较
1.2.1 存储的需求公式推导
我们对存储的需求的公式进行推导：
➢ 单层单 Token 的 KV 元素规模
Transformer 自注意力机制以独立的 Key 向量、Value 向量作为计算输入，二者维度均等于隐藏层维度 𝑑。因此单个 Token 在单层网络中，对应 KV 元素总数为 2𝑑。
➢ 全模型单 Token 的 KV 元素规模
Transformer 由 𝐿 层完全独立的注意力模块堆叠而成，每一层均需单独存储对应 Token 的 KV 向量。因此单个 Token 在全模型中的 KV 元素总数为 2 ⋅𝑑 ⋅ 𝐿。
➢ 全序列 KV Cache 总存储量
基于自回归生成的因果掩码约束，当前 Token 的生成必须依赖所有历史位置的 KV 信息，所有历史 Token 的 KV 向量需永久留存于缓存中。当累积序列总长度为 𝑁𝑘 时，KV Cache 总存储量为：
𝑆(𝑁𝑘) = 2 ⋅ 𝑁𝑘 ⋅ 𝑑 ⋅ 𝐿
➢ 核心结论
对累积序列长度 𝑁𝑘 求导可得：
即 KV Cache 存储量随累积序列长度严格线性增长，增长速率仅由模型结构参数 𝑑 与 𝐿 决定。
结论：无论从序列总长还是思考轮次看，KV Cache 存储都是严格线性增长。Agent 的每一轮思考、每一个内部推理 Token，都会永久性地增加存储负担。
1.2.2 光的需求公式推导
我们首先引入变量 α，α 是模型并行通信冗余系数，定义为：在并行计算模式下，每生成一个 Token、每一层网络需要跨卡传输的等效数据量，以单向量维度 𝑑𝑘𝑣 为单位计量。
由于 Agent 模型采用长序列上下文并行，KV 按序列维度拆分到多 GPU。
设模型共 𝐿 层，每层均需通信，故单 Token 总传输量 = 𝛼 ⋅ 𝑑 ⋅ 𝐿。
推理过程中累计生成 Token 总数为 𝑁𝑘，则光传输总流量：
𝑇(𝑛𝑘) = 𝛼 ⋅ 𝑁𝑘 ⋅ 𝑑 ⋅ 𝐿
增长特性：
即光传输总量随序列长度 𝑛𝑘 严格线性增长。
一般情况下，总 KV cache 增加 𝑁𝑘倍以后，光互连为了保证这些 KV cache可以在新的互连中同步给任何节点的 GPU/HBM，节点数也要增加𝑁𝑘倍，此时 𝛼 =1。特殊情况下，如果模型增加过大，为了让互连更加通畅，可能会调高一部分光
模块的配比，这种情况下可能𝛼 > 1。
结论：光传输量与 KV Cache 存储量同阶线性增长。
1.2.3 Agent 时代存与算的地位比
最终结论：计算模型权重时，每个 Token 在前向传播中需与每层的权重矩
阵 𝑊（尺寸 𝑑 × 𝑑）相乘，计算复杂度为 𝑂(𝑑2 ⋅ 𝐿)。当行业追求“更大的模型”（即提升 𝑑 和 𝐿）时，GPU 算力是首要瓶颈。
但当计算 KV Cache 存储时，每个 Token 需持久保存的键值对数据量与隐
藏层维度 𝑑 一次方成正比，总量 𝑆 = 2 ⋅ 𝑛𝑘 ⋅ 𝑑 ⋅ 𝐿。
因此，当行业转向“更深度的推理”（即提升 Agent 轮次 𝑘，进而放大 𝑛𝑘）时，HBM 容量与带宽成为新的首要瓶颈。
1.3 不同模型定价差异的本质
模型 API 定价的本质差异，可归结为隐藏层维度 𝑑 和模型层数 𝐿 这两个核心结构参数的不同。输入价格正比于 𝑑2 ⋅ 𝐿，因为 Prefill 阶段每个 Token 需与每层 𝑑 × 𝑑 的权重矩阵完成计算，𝑑2 和 𝐿 的乘积直接决定了单 Token 的浮点运算量；输出价格正比于 𝑛𝑘 ⋅ 𝑑 ⋅ 𝐿，因为 Decode 阶段每生成一个新 Token 都需从HBM 中完整读取全部历史 KV Cache，𝑑 ⋅ 𝐿 越大，HBM 带宽占用时间越长、GPU 独占越久。Agent 场景下 𝑛𝑘 的持续累积，会进一步放大高 𝑑 ⋅ 𝐿 模型的成本劣势，使存储与带宽压力成为定价的底层物理约束。
1.4 Agent 模式的核心变量是 k
当前主流 Agent 任务普遍采用 70B 参数以上的大语言模型作为基座，70B是生产级 Agent 工作负载的最低门槛。70B + 模型的权重与 KV Cache 已超出单卡 HBM 容量，Meta、NVIDIA 等主流厂商官方部署指南均要求采用多卡并行。
设 Agent 每轮平均新增 Token 数为固定值 𝑡，经过 𝑘 轮思考后，累积序列长度：𝑁𝑘 = 𝑁0 + 𝑘 ⋅ 𝑡
对比传统单次推理：相同时间内，传统模式仅完成一次上下文增长；Agent 持续循环推理，轮次 𝑘 不断增加，直接造成 𝑁𝑘 远大于单次推理序列长度，上下文规模被持续放大。
在 Agent 任务中，模型可通过增大推理轮次 𝑘 来弥补单轮推理深度的不足——通过多轮自我反思、多步验证、反复工具调用，以“多想几步”换取“每步更便宜”的经济性优势。
1.5 总结：𝒅 与 𝑳 的增长让步于推理轮次 𝒌 的大幅增长
当下，全球大模型产业已整体告别 “以参数规模论强弱” 的野蛮生长阶段，技术迭代重心从 “追求 𝑑 与 𝐿的指数级扩张” 全面转向架构效率、推理成本与场景落地能力，即在控制模型结构成本的同时，通过 Agent 循环让推理轮次 𝑘 大幅增长。从之前表格的数据来看，其表现是：
输出价差大，暴露 𝑘 的高增：GPT-5.5 输出价格是输入的 6 倍，Claude Fable5 / Mythos 5 为 5 倍。根据公式 𝑆(𝑛𝑘) = 2 ⋅ 𝑛𝑘 ⋅ 𝑑 ⋅ 𝐿，当 𝑑, 𝐿 相对稳定时，这极高的输出/输入倍率只能由上下文长度 𝑛𝑘 的急剧膨胀来解释——Agent 模式下的多轮思维链、反思与工具调用，使累积 𝑛𝑘 远超传统对话。
闭环结论：当前大模型厂商的战略方向，是用可控的 𝑑, 𝐿 承载近乎无限的 𝑘 增长。这意味着 𝑛𝑘（序列长度）已取代 𝑑, 𝐿（模型规模）成为推理系统成本与硬件压力的第一驱动力。我们在本报告中聚焦 𝑛𝑘 的快速累积、分析其与存储（HBM）和光传输的线性关系，正是切中了这一行业演变的主脉。未来 Agent 推理的硬件瓶颈，将由“跑多大的模型”转向“思考多少步”。
2 推理驱动 HBM 容量与带宽升级
当前英伟达、谷歌等头部厂商的 HBM 演进，核心驱动力均为大模型推理场景的刚需，整体呈现“容量扩容、带宽跃升、代际升级（HBM3e→HBM4）”的明确趋势。
➢ 推理需求倒逼容量与带宽双升
生成式 AI 推动模型参数迅速上升，推理过程中 KV 缓存读写、参数实时加载均为带宽敏感型操作。为减少低效的外部存储访问、降低推理延迟，厂商持续提升 HBM 规格：英伟达从 B200 的 180GB 容量增至 B300 的 288GB；谷歌 TPU8i 推理版直接配置 288GB HBM，匹配大模型单卡部署需求。
➢ 代际跃迁：从 HBM3e 全面升级至 HBM4
英伟达 Rubin 已率先搭载 HBM4，单卡带宽达 22TB/s；谷歌也正在完成从HBM3e 到 HBM4 的存储技术代际升级。
➢ 厂商差异化适配，聚焦推理场景优化
英伟达以 Rubin（HBM4）主打高端推理，B300（HBM3e）覆盖中高端场景；谷歌则拆分 TPU 8t（训练）/8i（推理），推理版 8i 刻意拉高 HBM 容量与带宽，强化推理性价比。整体来看，HBM 已从“辅助组件”升级为 AI 推理芯片的核心竞争力，容量更大、带宽更高、代际更新更快成为行业共识
HBM 从 HBM3e 迭代升级至 HBM4，核心硬件规格实现全面跃升。其中显存带宽的大幅提升主要依托芯片引脚数量增多、传输通道扩容实现；而显存容量的持续升级，则依靠存储结构中的晶体管与电容性能、数量的优化提升，以此满足大模型 AI 推理场景的超高负载运行需求
2.1 HBM 如何提升容量和带宽
2.1.1 容量提升机制
DRAM 采用 1T1C（1 晶体管+1 电容）架构，单个存储单元对应 1bit 信息。因此容量提升主要依赖两条路径：制程微缩+3D 堆叠。
多层堆叠：HBM 是一种 3D 堆叠 SDRAM，通过将多层 DRAM die 垂直堆叠，并以 TSV 与 micro bumps 连接层间结构。随 HBM 代际演进，单 Stack 容量从 HBM1 的 4GB 提升至 HBM3E 的 48GB、HBM4 的 64GB。
2.1.2 带宽提升机制
高并行通道：HBM 通过 TSV 将每层 DRAM 的 I/O 接口直接连接到中介层（Interposer），再通过中介层与 GPU/CPU 连接。每层 DRAM 拥有大量并行数据通道（如 1024-2048 位），多层同时传输数据，总带宽可达 TB/s 级别（如 HBM3E达 1TB/s）。
缩短信号路径：TSV 垂直连接替代传统金丝键合，将信号传输距离从毫米级缩短至微米级，降低信号延迟和传输损耗，支持更高频率操作。
低功耗设计：堆叠结构减少了数据的传输物理距离，能耗比传统内存降低约50%，支持更密集的数据吞吐
2.2 TSV 打孔技术解析及 HBM 提升的物理上限
2.2.1 TSV 打孔技术原理
工艺步骤
钻孔：在 DRAM 晶圆上通过激光或机械方式垂直打孔（直径约 1-3μm），贯穿整个晶圆厚度。
填充：通过电镀工艺在孔洞内沉积铜等导电材料，形成垂直导电通道。
晶圆减薄：将打孔后的晶圆背面减薄至约 10μm，确保 TSV 与上层芯片的金属层对齐。
键合：使用微凸块（Microbump）或混合键合技术，将减薄后的晶圆与下层芯片或中介层连接。
关键设备：激光钻孔机、电解电镀（Electroplating）、化学机械平坦化（CMP）、晶圆键合机等。
2.2.2 HBM 提升的物理瓶颈（台积电制程与 TSV 限制）
台积电产能瓶颈
HBM 主流依赖台积电的 CoWoS（Chip-on-Wafer-on-Substrate）封装技术，但 CoWoS 产能（尤其先进制程如 CoWoS-S）有限，成为产业链核心瓶颈，制约 HBM 供应与成本下降。
TSV 工艺极限
孔径微缩限制：当前 TSV 孔径已接近物理极限，进一步缩小易导致孔洞塌陷、填充缺陷或电阻增加，影响信号完整性。
堆叠层数限制：超过 16 层后，晶圆翘曲、热应力累积、散热恶化等问题显著，需复杂散热设计（如液态冷却），良率下降导致成本激增。
材料挑战：高层数堆叠需高导热材料（如金刚石）解决热阻问题，但目前技术尚未成熟
2.3 当前 HBM 与 CPU 封装方式及未来技术演进
2.3.1 当前封装结构
随着 AI、大数据和 HPC 增长，传统封装技术已无法满足芯片对高带宽、低延迟、高集成度的极致需求。封装技术正从 2.5D 封装向 3D 封装跨越。HBM 通常通过 TSV 堆叠形成高带宽内存，并与 GPU/CPU 等计算芯片共同集成在先进封装中。2.5D 封装通常将逻辑芯片与 HBM 并排放置在硅中介层上，通过中介层实现高密度互连；3D 封装进一步强调芯片垂直堆叠，以缩短互连距离、提升集成密度。
2.3.2 未来技术演进方向
玻璃基板（Glass Substrate）：玻璃基板的引入，正是为了适配上述 3D 封装趋势，破解传统材料在大尺寸、高密度、高热稳定性场景下的瓶颈。其核心优势与封装需求高度契合：
解决大尺寸封装翘曲问题，适配 3D 堆叠可靠性需求：传统有机基板（如 ABF）热膨胀系数（CTE）高，与硅芯片差异大，在大尺寸芯片或高温环境下易翘曲，导致互连失效。玻璃基板的 CTE（3.8-4.0ppm/℃）与硅接近，可显著降低翘曲风险，确保 3D 堆叠中多层芯片的长期稳定性。
支持超高互连密度，赋能 3D 封装微型化：玻璃的低介电常数（Dk~4.5）与超光滑表面（平整度<4nm）可实现更细的走线间距（≤0.5μm）与更高密度过孔（如 TGV），满足 3D 封装中芯粒间、芯片与 HBM 间的超密集互连需求。例如，Intel 通过玻璃基板实现了 10 倍互连密度提升，为 3D 封装中的数万级微互连提供了物理基础。
光互连潜力，打开 3D 封装未来维度：玻璃的透光性为未来芯片间光互连预留可能性。在 3D 封装中，若芯片层间采用光通信替代电互连，可彻底突破带宽与功耗极限。Intel 等厂商正基于玻璃基板的透光特性，布局片上光互连技术，为 3D 封装开辟全新维度。
成本与产能优化，支撑 3D 封装规模化：玻璃基板的“面板级制造”模式（如310×310mm 方形面板）替代传统圆形硅中介层，可显著提升材料利用率（从 45%→81%），降低大芯片封装成本，推动 3D 封装技术普及
混合键合（Hybrid Bonding）通过更细间距的 die-to-die 直接连接，提升 3D 堆叠互连密度并降低寄生效应。TSMC SoIC 和 AMD 3D V-Cache 均体现了该技术在高密度 3D 集成中的应用，前者用于异构 chiplet 垂直堆叠，后者通过 TSV 与铜-铜直接键合实现缓存堆叠
3 可被玻璃基板替代的封装层分析
NVIDIA 当前的高端 AI 芯片如 GB200/B200 采用台积电 CoWoS-L 封装技术，其基板结构从上到下大致如下
近年来 TGV（Through Glass Via）技术日趋完善，各家头部公司开始布局应用玻璃基板，其加工流程如图 7。先在玻璃基板上进行打孔，然后在侧壁及表面沉积阻挡层和种子层。阻挡层防止 Cu 向玻璃衬底扩散，同时增加两者的粘附性，然后采用电镀的方法将 Cu 沉积，接着退火，并采用 CMP 的方法将表面 Cu 层去掉。最后采用 PVD 镀膜光刻方法制备 RDL 重布线层，去胶后形成钝化层。
3.1 玻璃基板可能替代的环节及目的
3.1.1 封装基板：有机基板→玻璃芯基板
提升互连密度：玻璃基板具有超低平整度和更好的热稳定性，能够实现互连密度约 10 倍的提升，从而在更小面积内封装更多芯片。支持更大尺寸封装：玻璃基板可耐受更高温度，图案失真低 50%，能够实现超大尺寸封装并保持高组装良率。
延续摩尔定律：有机材料将在本十年末达到缩放极限，玻璃基板是突破这一瓶颈、实现 2030 年单封装万亿晶体管目标的关键技术路径。
3.1.2 中介层：硅中介层→玻璃中介层
突破 3D 堆叠：玻璃中介层能够支持嵌入基板的芯粒与直接堆叠于顶部的芯粒之间的 3D 堆叠。
性能优化：与硅中介层相比，玻璃中介层可实现 2.6 倍的面积优化、21 倍的线长缩短，全芯片功耗降低 17.72%，信号完整性提升 64.7%，电源完整性改善 10倍。
3.2 玻璃基板的优劣势对比
3.2.1 核心优势
热膨胀系数与硅高度匹配。玻璃基板的 CTE 可调控在 3.8–4.0 ppm/°C 范围内，使其在低端更适合硅，在高端可与 PCB 兼容。
低介电损耗、低信号衰减，具有优异的电气性能。玻璃的介电常数远低于硅，且切线损耗低，传输损耗远低于硅，极大提升信号完整性。
大尺寸面板级制造潜力，成本摊薄空间大。玻璃比硅中介层便宜得多，超薄（<100 微米）玻璃也易于制造，尺寸为 700 x 700 毫米。
3.2.2 劣势与挑战
脆性高，加工与切割易微裂。玻璃本质脆硬，在切割过程中易产生微裂纹，导致良率损失。
玻璃通孔（TGV）工艺复杂，良率控制难。TGV 的形成和金属化工艺要求高。高纵横比 TGV 的均匀性、无空洞填充以及铜-玻璃界面应力管理仍是量产瓶颈。
4 台积电与 Intel 技术路线与战略立场
1 Intel：玻璃基板的破局先锋
英特尔当前的封装方案是 EMIB + 有机基板：互连桥部分（EMIB）采用小型硅芯片，嵌入在有机封装基板内部；封装基板部分采用有机基板。但相较于有机基板，玻璃基板具有更好的耐热性，可以防止变形并减少紧耦合区域的信号延迟和干扰，从而实现更高的互连密度。
4.1.1 未来方案：EMIB + 10-2-10 厚芯玻璃基板
2026 年 1 月 Intel 在 NEPCON Japan 展会上首度公开展示了集成 EMIB 技术的厚芯玻璃基板原型。
Intel 的"10-2-10"架构（上下各 10 层 RDL，中间 2 层玻璃核心）中，玻璃材料仅替代了传统有机基板的"核心层"，上下 RDL 仍采用有机材料。玻璃基板的作用是提供超大尺寸、低翘曲的封装平台，使多个 Foveros 3D 堆叠+EMIB 桥接的复杂系统得以实现。
4.2 台积电：以 CoPoS 为核心
台积电以 CoPoS 为核心，用玻璃替代硅中介层（Interposer），将 CoWoS技术升级至 CoPoS，结合面板级封装（Panel-Level Packaging），推动封装技术向更大尺寸、更高集成度演进。传统 CoWoS 使用硅中介层连接芯片与封装基板，但硅中介层在大尺寸 AI 芯片（如英伟达 Rubin GPU）中面临成本高、产能低、翘曲风险等问题。
4.2.1 未来方案
CoPoS 的核心创新是“化圆为方”，采用玻璃或蓝宝石材质的方形载具作为中介层。从长远技术路线来看，CoPoS 最终目标是逐步采用更高规格的玻璃基板，全面替代现有硅中介层材料
CoPoS 2.0 与材料创新：开发下一代 CoPoS 技术，结合玻璃基板的微缩工艺，提升互连密度。探索玻璃与高导热材料的复合层，解决 AI 芯片的散热瓶颈。CoPoS 中试线已于 2026 年 2 月交付设备，预计 6 月全面建成（嘉义 AP7 厂区），计划 2028 年底至 2029 年上半年实现量产。
5 总结
1）HBM（高带宽内存）产业链：AI Agent 多轮推理持续拉高 KV Cache 需求，倒逼 HBM 完成容量、带宽、代际三重升级，行业高景气具备强确定性。HBM4逐步商用，叠加车载算力等新增需求，市场规模持续扩容，是算力硬件中确定性最高的赛道之
2）先进封装（2.5D/3D、CoWoS/CoPoS）：HBM 与 AI 芯片高度依赖先进封装，台积电 CoWoS 产能瓶颈持续凸显，叠加 Chiplet 异构集成趋势，先进封装成为算力芯片性能提升的核心抓手。传统 2.5D 封装稳步放量，3D 封装逐步导入高端场景，行业成长周期拉长。
3）玻璃基板 + TGV 产业链：
玻璃基板可解决传统硅中介层成本高、有机基板翘曲的痛点，是台积电CoPoS、Intel 新一代封装的核心方案，2026 年处于技术验证与小批量送样阶段，计划 2028 年底至 2029 年上半年实现量产。同时玻璃基板具备光互连兼容属性，适配远期 CPO（共封装光学）技术趋势。
4）AI 算力配套（KV Cache、光互连）：Agent 模式下序列长度持续增长，一方面推高 HBM 带宽需求，另一方面光传输流量线性提升，高速光模块、光互连芯片、光电共封装（CPO）迎来增量市场。同时 KV Cache 优化相关芯片、存储控制器，成为算力降本增效的关键。优先布局高速光模块、光引擎、光电封装企业，匹配 AI 多卡并行的光互连需求；关注存储缓冲芯片、内存接口芯片等 KVCache 配套器件企业。
