NVDA, AMD, AVGO, ANET, SMCI, VRT, ORCL, MSFT, GOOGL, TSM, MU, CRDO, CLS · 美股
「榨」出硅的极限：怎么让 GPU 不「闲着」？｜深聊 AI Infra 技术与千亿美元市场
买 GPU 只是买到硅；单位回报取决于利用率。通信气泡、HBM、调度、电力散热与推理批大小，决定千亿美元 AI CapEx 的有效产出。中枢 NVIDIA，互补网络 AVGO/ANET，约束层 TSM/MU，物理层 VRT。对照 CPU 行业深度。
章节深链示例：/zh/r/ai-infra-gpu-utilization-2026#thesis
关键快照
- 训练稳态 MFU（示意）
- ~30%–55%
- AI Infra 投资主线
- 硅→网→电→云
- 利用率五因素
- 通信·HBM·调度·热·软件
- 配置骨架
- NVDA·网·HBM·液冷
数据截至 2026-07/08 · 综合公开财报、管理层指引、IDC/TrendForce/SemiAnalysis 等行业研究与站内个股包。行业主题文，非单一公司评级。
投资论点
买 GPU 只是「买到硅」；真正决定单位资本回报的，是硅有没有被喂饱。集群里大量「闲着」的时间并不来自芯片算不动，而来自：通信等待、显存/带宽饿死、调度碎片、电力与散热限频、推理批大小过小。
本篇命题：AI Infra 的下一阶段竞争，是「榨干硅」的系统工程——谁能把有效利用率（productive FLOPs / 墙上时间）抬上去，谁就在千亿美元级数据中心 CapEx 中拿走更高份额，或让云厂商在同等 CapEx 下交付更多 token。
对照站内：算力芯片看 NVIDIA / AMD；网络看 Broadcom / Arista / Credo；整机与散热看 Super Micro / Vertiv / Celestica；云 CapEx 与软件调度看 Microsoft / Alphabet / Oracle；制造与存储看 TSMC / Micron。CPU 编排侧见 CPU 行业深度。
一、GPU 为什么「闲着」？
1.1 利用率不是一张简单百分比
业界口头说的「GPU utilization」常混用三类指标：
| 指标 | 含义 | 常见陷阱 |
|---|---|---|
| SM / Device occupancy | 硬件忙闲 | 忙着等内存也算「忙」 |
| MFU（Model FLOPs Utilization） | 有效算力 / 峰值 | 训练更常用，推理偏低 |
| Goodput / tokens per GPU-hour | 业务产出 | 投资与运营更该看这个 |
公开与调研区间（量级示意，因模型与集群而异）：大规模训练稳态 MFU 常见约 30%–55%；推理在低批、长上下文下可跌到更低。差距本身就是 Infra 可寻址空间——不是「再买一倍 GPU」，而是「让现有 GPU 多吐 20%–50% 有效产出」。
1.2 五类闲置来源
- 通信气泡（collective bubbles）
All-reduce / all-to-all 时计算停等网络。规模越大、专家并行（MoE）越重，气泡越明显。 - 存储与 HBM 带宽饿死
激活、梯度、KV cache 吞吐不足 → 算力空转。HBM 容量与带宽、主机内存分级、SSD/对象存储到 GPU 的流水线都是瓶颈。 - 调度与碎片
作业粒度、拓扑感知放置、抢占与扩缩容导致「有卡开不了作业」。连续批处理（continuous batching）与 disaggregated prefill/decode 正在重写推理利用率曲线。 - 电力 / 热 cap
机柜功率与冷却不足 → 降频或限功率运行。名义峰值与持续峰值可以差一截。 - 软件栈与生态摩擦
框架、编译器、内核库、多集群编排不匹配 → 同一硬件产出差数倍。CUDA 生态的护城河，本质是「少闲着」的软件复利。
1.3 为什么现在更痛？
- 模型更大、并行更深：流水并行 / 张量并行 / 专家并行把「算」切碎，「传」占比上升。
- 推理从实验变生产：在线服务对延迟与成本敏感，空闲 GPU = 直接烧钱。
- CapEx 进入「千亿刀」量级：Hyperscaler 年资本开支动辄千亿美元级；利用率每提升 10 个点，约等于少建一批集群或提前回收投资。
二、千亿美元市场：钱花在哪？
「AI Infra」不是单一 TAM，而是多层蛋糕。机构口径不一，方向一致：加速器本体仍是最大单块，但网络、存储、液冷、电力、代工封装的增速与议价权在抬升。
| 层级 | 近端量级（示意） | 2030 方向 | 利用率相关角色 |
|---|---|---|---|
| AI 加速器（GPU/ASIC） | 年收入已进入千亿刀区间（龙头单季 DC 亦可数十亿刀） | 仍是最大块，但增速可能从「暴增」切到「高增」 | 硅本身 + 软件栈 |
| AI 网络（IB / Eth / 光） | 百亿刀级高速增长 | 向数百亿刀规模扩张 | 直接消灭通信气泡 |
| HBM / 先进封装 | 供给约束定价 | 与 CoWoS/HBM 产能绑定 | 喂饱算力 |
| AI 服务器 / 液冷 / 供电 | 随机柜功率密度上修 | 与 GW 级园区绑定 | 抬升持续利用率 |
| 云与软件调度 | 计入 CSP 毛利与平台收入 | Agent / 推理平台化 | 调度与编译 |
投资含义：当「有卡」从稀缺变为「有卡但闲」，定价权会部分从纯硅迁移到 能提高 goodput 的环节——网络、HBM、冷却、调度软件、定制 ASIC（更高能效比）。
三、怎么「榨」硅：技术杠杆清单
利用率杠杆 × 瓶颈 × 标的映射
| 杠杆 | 对应瓶颈 | 利用率弹性 | 投资映射 |
|---|---|---|---|
| Scale-up / scale-out fabric | Collective wait, NCCL bubbles | High — cuts idle during all-reduce | NVDA NVLink/Spectrum-X; AVGO; ANET; CRDO |
| HBM + memory hierarchy | Activation/KV cache spill | High — keeps compute fed | MU; TSM CoWoS; NVDA HBM attach |
| Cluster scheduler / continuous batching | Fragmentation, queue holes | Medium–High — software ROI | Hyperscaler stacks; ORCL; MSFT Azure |
| Inference stack (spec decode, MoE routing) | Low batch, KV bandwidth | High for serving fleets | NVDA software; AMD ROCm; CSP ASICs |
| Power / liquid cooling / power train | Thermal throttle, rack power cap | Medium — raises sustained clocks | VRT; SMCI; CLS |
3.1 Scale-up：把多卡变成「一台大 GPU」
- NVLink / NVSwitch、UALink、以太网 scale-up 叙事：降低卡间延迟与带宽税。
- 投资映射：NVIDIA 全栈；以太网侧 Broadcom、Arista；高速连接 Credo 等。
3.2 Scale-out：集群级集体通信
- Spectrum-X / RoCE / InfiniBand 竞争的本质是：集体通信完成时间。
- 拥塞控制、拓扑、网卡 offload、光模块与线缆，都是「少闲着」的物理层。
3.3 内存金字塔：HBM → 主机内存 → 远端存储
- 训练：激活重计算 vs 显存；流水线气泡与微批次。
- 推理：KV cache 是第一公民；前缀缓存、分页注意力、PD 分离（prefill/decode disaggregation）直接抬升 GPU-hour 产出。
- 投资映射：Micron 等 HBM；封装产能 TSMC。
3.4 软件：连续批处理、编译与调度
- vLLM / TensorRT-LLM / SGLang 一类推理引擎把「低批空转」变成「高吞吐」。
- 集群调度：拓扑感知、故障域、抢占、多租户隔离。云厂商自研调度是隐藏护城河。
- 投资映射：云平台 Microsoft / Google / Amazon；企业 GPU 云 Oracle。
3.5 电力与热：让峰值变成可持续
3.6 定制硅：另一条「少闲着」路径
- TPU / Trainium / Inferentia / Meta MTIA / Broadcom XPU：用更贴合模型的数据通路换能效与成本。
- 不等于淘汰 GPU，而是 在特定工作负载上提高有效利用率与 $/token。对照 AVGO 与 CSP 财报中的 AI 叙事。
四、产业链位置：从晶圆到 token
晶圆/先进封装 (TSM…)
→ HBM / 基板 / CoWoS
→ GPU/ASIC 设计 (NVDA/AMD/AVGO/CSP)
→ 网卡/交换/光 (AVGO/ANET/CRDO…)
→ 服务器与液冷机柜 (SMCI/OEM + VRT…)
→ 园区电力与土建
→ 云调度与模型服务 (MSFT/GOOGL/AMZN/ORCL…)
→ 应用与 Agent（消耗 token）
| 方向 | 关键方 | 议价 / 依赖 |
|---|---|---|
| 上游 | 先进制程、HBM、CoWoS、设备 | 产能配额决定「有没有硅」 |
| 中游 | GPU/网络/整机 | 决定「硅能不能连成集群」 |
| 下游 | CSP / 模型公司 / 企业 | 决定「集群有没有有效负载」 |
供应链风险点（回扣风险节）：① CoWoS/HBM 瓶颈；② 光模块与高速铜缆交期；③ 电力与散热 equip 交付；④ 出口管制重塑可售产品与利用率曲线（中国市场尤其敏感）。
五、竞争格局与标的地图
主题核心标的对照
| 公司 | 层级 | 优势 | 劣势 | 研究立场 |
|---|---|---|---|---|
| NVIDIA | GPU + system + software | CUDA + NVLink + networking stack | Valuation / export / customer ASIC | Core overweight |
| AMD | GPU + CPU | #2 AI + EPYC attach | Software / training share gap | Satellite / #2 bet |
| Broadcom | Custom XPU + AI networking | CSP ASIC + Tomahawk/Jericho | Customer concentration | Core complementary |
| Arista | Ethernet AI fabric | EOS + hyperscaler share | Cycle / InfiniBand share fight | Networking core |
| Super Micro | AI servers / liquid | Speed to rack | Margin / governance beta | Tactical |
| Vertiv | Cooling / power | Liquid + UPS for AI densification | Capex cycle lag | Infra satellite |
5.1 三层竞争
- 系统定义权：NVIDIA 用 GPU+网络+软件定义「什么叫一台 AI 超级计算机」。
- 云横向整合：CSP 用自研 ASIC + 自有调度压 $/token，同时仍大量外购 GPU。
- 以太网阵营：把 AI 网络从 IB 中性化，争夺 scale-out 标准——Arista / Broadcom 叙事核心。
5.2 「榨硅」赢家条件
- 能证明 goodput 提升（案例、benchmark、客户 CapEx 复购）；
- 卡位在瓶颈迁移方向（网络、HBM、液冷、调度）；
- 不被单一客户砍单摧毁（AVGO 类集中度需折价）。
六、投资评分矩阵（研究用途）
| 维度（1–5） | NVDA | AMD | AVGO | ANET | SMCI | VRT |
|---|---|---|---|---|---|---|
| 与「利用率」主题贴合度 | 5 | 4 | 5 | 5 | 4 | 4 |
| 护城河 / 定价权 | 5 | 3 | 4 | 4 | 2 | 3 |
| 近 12–24m 景气可见度 | 5 | 4 | 5 | 4 | 3 | 4 |
| 估值安全垫 | 2 | 2 | 2 | 2 | 3 | 3 |
| 配置建议（研究） | 核心 | 卫星 | 核心互补 | 网络核心 | 战术 | 卫星 |
说明：分数为框架示意，需结合最新财报与股价；详见各站内个股包。
七、组合配置建议
主题篮子（研究框架，非投顾建议）
| 角色 | 标的方向 | 逻辑 |
|---|---|---|
| 核心 α | NVDA | 全栈利用率定义者；波动用仓位管 |
| 核心互补 | AVGO + ANET | 定制硅 + 以太网 fabric |
| 制造约束 | TSM + MU | 封装与 HBM「喂硅」 |
| 机柜物理层 | VRT ± SMCI | 液冷/供电 vs 整机弹性 |
| 云杠杆 | MSFT / GOOGL / ORCL | CapEx + 调度软件复利 |
| 第二供应商 | AMD | 份额期权，软件差距需折价 |
跟踪指标（比看股价更重要）
- Hyperscaler CapEx 指引与「AI 相关」占比
- 网络：800G/1.6T 光与交换机订单、IB vs Eth 份额叙事
- HBM / CoWoS 供需与 ASP
- 推理：tokens / GPU-hour、PD 分离落地进展
- 机柜功率密度（kW/rack）与液冷渗透率
- 出口管制对可售 SKU 与中国 DC 利用率的影响
八、情景框架
| 情景 | 条件 | 对主题含义 |
|---|---|---|
| 乐观 | CapEx 维持高位；以太网 + 液冷渗透加速；推理 goodput 明显提升 | 网络/冷却/软件弹性 > 纯硅；龙头溢价可维持 |
| 基准 | GPU 供给缓和但仍紧；利用率缓慢抬升；ASIC 分流部分推理 | 篮子配置：硅 + 网络 + 冷却三角 |
| 悲观 | CapEx 下修；利用率故事证伪（堆卡仍最赚钱）；价格战 | 高估值系统商回撤；关注现金流与订单可见度 |
九、风险
十、总结
「榨」出硅的极限，不是口号，而是 通信、内存、调度、电力四条约束下的系统优化竞赛。千亿美元市场的投资主线，正在从「能不能买到 GPU」切换到「同样一瓦特、同一美元 CapEx，能打出多少有效 token」。
研究仓位上：NVIDIA 仍是利用率叙事的中枢；Broadcom / Arista（及高速连接）吃网络气泡；Micron / TSMC 吃喂养算力的存储与封装；Vertiv / 整机液冷吃可持续峰值；云厂商用软件与自研硅在内部「榨」自己的集群。组合宜按「硅—网—电—云」四层配置，并持续用 goodput 与 CapEx 指引校准，而非只追单季出货。