柜内 NVLink
NVL72 的 72 颗 GPU 在一个机柜里组成一个域，走背面的交换托盘和盲插铜缆。柜间计算网进不了这个域。域的大小决定采购按整柜的倍数，也决定列内要留出托盘抽出和背板的深度。
Source Library · 组网与设施原文
设计文献
这一页只收能指导组网和机房出图的原文：NVIDIA 参考架构、厅级电力液冷蓝图、OEM 机柜指南，以及歧管与水温的开放标准。每条写明它定义的计算单位、网络平面，以及哪些数字可以写进图纸。口径日期 2026-10-23。施耐德下载页有时要求登记，用目录上的文档号检索即可。
四套 NVIDIA 架构各有自己的 SU。GB200 SuperPOD 的计算网是 InfiniBand，GB300 企业参考架构把 800 Gb/s 拆成两条 400 Gb/s，DGX B300 节点柜按每柜 4 台服务器设计，Vera Rubin 的计算口是每颗 GPU 两条 800 Gb/s。叶子数量和报装跟着所选的那一套走。GB300 的千瓦数和液冷比例见设施参考
读这些文件的顺序
- 先确定买的是 NVL72 整柜还是 8 卡服务器。两种 B300 的叶子交换机、母线和 CDU 各走各的数量级。
- 打开与该形态对应的 NVIDIA 参考架构，读组网章节，记下 SU 到底是一柜、八柜、六十四个节点还是三柜。
- 用 OEM 产品指南锁定铭牌、进线电流和液风比。厅级容量再从施耐德、维谛或西门子的参考设计里取。
- IEC、ANSI 和 UL 连同热沉一起选。同一套 7.5 MW 封面，冷机和绝热流体冷却器是两套机械系统。
- 歧管和水温分级用 OCP 与 ASHRAE。800V 的技术博客用于 2027 年兆瓦级机柜的预留。
四张网，各管一段
一份方案里的组网图按这四层往下拆。柜内域、柜间计算、存储和管理不要画在同一条线上，也不要共用同一组交换机端口。
东西向计算网
跨柜的 GPU 通信走这张网。GB200 SuperPOD 用 InfiniBand。GB300 企业参考架构和 Vera Rubin SuperPOD 用 Spectrum-X 以太网，做成两个互不相连的平面。同一条 rail 在叶子上汇合，跨 rail 才上 spine。单平面故障时，作业留在剩下的那一半带宽上。
南北向存储与带内
存储、装机和用户入口单独成网，避免和训练流量抢同一张叶子。GB300 企业参考架构里，每块计算托盘一张 BlueField-3，两条 400 Gb/s，文档给出的每节点存储带宽上限约 40 GB/s。Vera Rubin 换成 BlueField-4，仍是两条 400 Gb/s。
带外管理
BMC、交换机管理口和电源层管理口走 1 Gb/s，与业务网分开。GB300 整柜内的两台 SN2201 接在直流母排上；网络柜里的管理交换机另配交流。八柜设计里，每个 SU 两台 SN2201，每台两条 100G 上联。
四套官方架构，各有自己的 SU
SU 是参考架构里的复制单位。柜数、叶子交换机和报装容量都跟着所选那一列走。
| 架构 | 计算单位 | 柜内 Scale-up | 柜间计算网 | 机房接口 |
|---|---|---|---|---|
| DGX SuperPOD · GB200 NVL72 | 8 台 GB200 整柜为一个 SU，文档给出的 TDP 为 1.2 MW | 柜内 NVLink 5。18 个计算托盘、9 个交换托盘，72 颗 GPU 一个域 | 计算网是 NDR InfiniBand 400 Gb/s。存储和带内管理是 Spectrum-4 800 Gb/s 以太网 | 按 Tier 3、TIA-942 Rated 3 或 EN 50600 Availability Class 3 做可同时维护。液冷与风冷并存 |
| 企业参考架构 · GB300 NVL72 | 1 台 GB300 整柜为一个 SU。完整测试规模到 8 个 SU | 柜内 NVLink。9 个 NVSwitch 托盘，文档写 72 颗 GPU 聚合带宽 130 TB/s | Spectrum-X 双平面。ConnectX-8 的 800 Gb/s 拆成 2×400 Gb/s，每平面 4 条 rail。每 SU 计算网上行 144 条 400G | 整柜最高 142 kW，8 个 33 kW 电源层。柜内两台管理交换机吃直流母排，柜外管理交换机吃交流 |
| DGX SuperPOD · DGX B300 节点 | 64 台 8 卡 DGX B300 为一个 SU。参考布局每柜 4 台，机柜功耗超过 50 kW | NVLink 停在节点内部。这是服务器柜，不是 72 卡整柜域 | Spectrum-X 双平面，每颗 GPU 两条 400 GbE。同 rail 在一个 SU 内一跳，跨 rail 上 spine | 直流母排，每柜 4 个最高 33 kW 的电源层。没有母排的机房改用交流 PDU，并降低每柜台数 |
| DGX SuperPOD · Vera Rubin NVL72 | 示例 SU 是 3 台整柜、216 颗 GPU、双平面。文档写可扩到 30 个以上 SU | 柜内 NVLink 6。每颗 GPU 36 条链路，文档写 3.6 TB/s；交换在机柜背面盲插 | Spectrum-6 与 ConnectX-9。每颗 GPU 两条 800 Gb/s，每托盘 8 条 800G，光口在机柜正面 | 电源层含 6 个 18.3 kW 模块，单层最高 110 kW。一柜四层、三层带满，文档称为 N+N。整柜铭牌以该 PDF 的功率表为准 |
NVIDIA 官方组网参考架构
组网的柜数、rail 和平面以这里为准。四份文件的 SU 定义不同，叶子数量和网络柜占地跟着所选的那一列走。
NVL72 AI Factory 企业参考架构（GB300，Spectrum-X）
确认当前 GB300 整柜方案的组网原文。文档把这套连接称为 2-4-5-800。图注能直接读到的是双平面、每平面 4 条 rail，以及 800 Gb/s 端口。
一个 SU 就是一台 GB300 NVL72：18 块计算托盘、4 张 ConnectX-8、每托盘聚合 3200 Gb/s。800 Gb/s 口拆成两条 400 Gb/s，分别进入两个独立平面；每平面 4 台叶子，一台叶子固定接所有托盘上的同一个 GPU 位。因此每台 SU 的计算网上行是 144 条 400G，南北向是 36 条 400G。两柜设计把各层网络收成折叠叶脊；四柜起，东西向计算网单独成网；八柜、约 1024 个节点以上再加 super-spine。叶子物理上能覆盖三柜，文档按两柜来接，用来满足 NVL72 的软件条件。数交换机和光纤时按这个欠配。组件章同时写明整柜最高 142 kW、8 个 33 kW 电源层、托盘级和机柜级漏液检测。
出图时：做 GB300 集群的逻辑图、光纤数量和网络柜时打开这一份。142 kW 是这本企业参考架构的整柜上限，和电源层容量的算术和分开写。
DGX SuperPOD 参考架构（GB200 NVL72，InfiniBand）
确认GB200 整柜集群的组网原文。文档号 RA-11338-001。计算网仍是 InfiniBand，和一年后的 GB300 企业参考架构不是同一张叶子表。
SU 等于 8 台 DGX GB200，TDP 1.2 MW。柜内是 NVLink 5：9 个交换托盘、每托盘两颗交换芯片，每颗 B200 有 18 条链路，文档写双向 1.8 TB/s。柜间计算网是 NDR 400 Gb/s InfiniBand，存储和带内是 Spectrum-4 800 Gb/s 以太网，带外再单独成网。文档要求机房达到 Tier 3、TIA-942-B Rated 3 或 EN 50600 Availability Class 3，并写明混合液冷与风冷。规模可以超过 128 柜、9216 颗 GPU，四个 SU 以上需要另向 NVIDIA 取配置。
出图时：GB200 项目的 InfiniBand 叶子、SU 功耗和可同时维护等级用这一份。把它的 400G InfiniBand 端口数抄到 GB300 Spectrum-X 方案里，光纤和交换机都会错。
DGX SuperPOD 参考架构（DGX B300 节点，直流母排）
确认8 卡 DGX B300 服务器组成的 SuperPOD。名字里有 B300，形态是节点柜，和 GB300 NVL72 整柜分开采购、分开出图。
一个 SU 是 64 台 DGX B300。参考布局每柜 4 台，机柜功耗超过 50 kW，因此引入和 GB200/GB300 同类的 MGX 直流母排。每柜 4 个电源层，每层 6 个 5.5 kW 模块、最高 33 kW。没有母排的既有机房可以改回交流 PDU 和 EIA 机柜，同时降低每柜台数。计算网是 Spectrum-X 双平面：每颗 GPU 两条 400 GbE，分别进入两张互不连接的网。同一 SU 内，同 rail 的流量在叶子上一跳到达；跨节点的跨 rail 流量上 spine。单条链路或单台交换机失效时，作业以一半带宽继续，而不是整作业中断。完整测试规模是 4 个 SU、256 个节点。
出图时：客户要的是 HGX / DGX 八卡服务器时读这一份，用它的母排门槛和双平面 400 GbE 做机柜和网络。整柜 72 卡域不在这本架构里。
DGX SuperPOD 参考架构（Vera Rubin NVL72，Spectrum-X）
确认下一代整柜的组网和电源层结构。端口速率、电源层模数和 SU 柜数都已换代，沿用 GB300 的 400G 拆分和 33 kW 电源层会把列头配小。
示例 SU 由 3 台 Vera Rubin NVL72 组成，216 颗 GPU，两个平面。每块托盘 4 颗 Rubin GPU 和 2 颗 Vera CPU，正面出 8 条 800 Gb/s，也就是每颗 GPU 两条 800 Gb/s 的 ConnectX-9，分别进入两张独立的网。叶子是 Spectrum-6 SN6600，每平面 4 台、对应 4 条 rail；3 柜在每条 rail 上占 54 个 800G 端口。文档写这个两层网络可以扩到 30 个以上 SU、6480 颗 GPU。存储和带内用 BlueField-4 的两条 400 Gb/s，每个 SU 两台 SN5600 叶子。电源层换成 6 个 18.3 kW 模块，单层最高 110 kW；一柜四层，三层即可带满整柜，并带功率平滑用的储能。NVLink 6 在柜后盲插，每颗 GPU 文档写 3.6 TB/s。
出图时：做 Vera Rubin 机房预留时，用这份 PDF 定正面光纤体积、rail 数量和电源层模数。整柜千瓦数等 PDF 里的功率表，不把 110 kW 乘以 3 写成报装容量。
机房方法、端口图和电力机制
这些文章负责解释接口和机制。H100 的设计指南提供布线和密度方法，里面的 40 kW 机柜数字只属于那一代。
DGX GB 机柜用户指南 · 硬件与端口
确认GB200 与 GB300 计算托盘的端口对照。决定列头跳线和带外交换机端口数时，以这里的网卡代际为准。
两种托盘都是 2 颗 Grace 加 4 颗 GPU，冷板覆盖 CPU 和 GPU，网卡、存储靠风。柜间计算网：GB200 是 4 张 ConnectX-7、单口 400G OSFP；GB300 换成 4 张 ConnectX-8、单口 800G OSFP。存储和管理都是 2 张 BlueField-3，双口 400G，可选 InfiniBand 或以太网。带外是托盘 BMC 的 1 路 1GbE，再加上 BlueField BMC 的 2 路 1GbE。本地盘是 4 块 3.84 TB E1.S 和 1 块 1.92 TB M.2。
出图时：同一列里如果混有 GB200 和 GB300，光模块速率按托盘分开列，不能共用一种 400G 跳线表。
DGX SuperPOD 数据中心设计指南（H100）
确认NVIDIA 自己写过的机房设计方法：SU、电缆路径、降密度的代价。功率表属于 H100，方法可以带到现在的项目里。
一个 SU 最多 32 台 DGX H100，另加两台管理柜放 InfiniBand 叶子、管理服务器和存储。推荐密度是每柜 4 台、单柜 40.8 kW，整个 SU 的计算功率 326.4 kW；降到每柜 2 台或 1 台时，单柜功率下降，柜数和占地上升，SU 总功率不变。InfiniBand 电缆的路径长度不得超过 50 米，所以行列距先受电缆约束，再谈通道宽度。文档写明，偏离推荐密度之前要和 NVIDIA 一起复核，否则性能、运维和支持边界都会变。
出图时：用它检查列长和电缆路径，并提醒业主：降低单柜功率会增加柜数。40.8 kW 这个数留在 H100 项目里。
GB300 NVL72 如何把功率曲线拉平
公司自述解释 GB300 电源层里的储能、功率上限和 GPU 功耗燃烧各自管哪一段曲线。上游变压器和电能质量仍要按峰值设计。
训练时大量 GPU 同步进退，机柜功率会在闲时和满功率之间跳变。博客把平滑拆成三段：起步时由功率上限把爬坡限制在电网能接受的斜率；稳态的短时尖峰由电源层里的电解电容吸收；负载突然结束时，GPU 进入功耗燃烧，先按住功率再平滑下降。参数可以通过 nvidia-smi 或 Redfish 调整。
出图时：和业主解释柜内储能的作用时引用这篇。它管的是秒级波动。停电后续航、短路容量和谐波测量仍写在配电规格里。
800 V 直流：面向后续兆瓦级机柜的生态说明
公司自述说明 NVIDIA 为什么要在后续 AI 工厂里把配电抬到 800 V 直流，以及哪些电源和液冷厂商进入了这套生态。
博客讨论的是减少变换级数、铜材和损耗，并配合多时间尺度的储能。它描述的是后续兆瓦级机柜的配电方向。上面几份已经公布的 GB200、GB300 和 Vera Rubin NVL72 参考架构，进线和电源层仍然按各自文档里的交流馈线和柜内电源层来画。
出图时：土建预留中压和管廊时可以引用这篇。本批 GB300 或 Vera Rubin NVL72 的设备清单仍按对应参考架构的电源层，不把 800 V 整流器写进当前 BOM。
Vera Rubin POD：七颗芯片、五种机柜
公司自述用来理解一代 POD 里不只有 GPU 柜。CPU 柜、推理柜、存储柜和以太网柜的功率要单独列，不能用 GPU 柜的千瓦数去乘。
博客把第三代 MGX 的液冷目标写到 45°C 进液，并说明 Vera Rubin NVL72 的柜内储能大约是前一代的 6 倍，文档给出的数字是每颗 GPU 400 J，同时把交流侧的峰值电流需求压低。Rubin Ultra 的 NVL576 在这里被定义成 8 个 MGX 机柜组成的 576 卡域。Kyber 是下一代机架，先容纳 144 颗 GPU。性能倍数是公司口径。
出图时：做远期平面时，用这篇把五种机柜分开占位。电气容量以 Vera Rubin SuperPOD 那份 PDF 的电源层为准，再等 OEM 铭牌冻结。
厅级电力与液冷参考设计
NVIDIA 的参考架构把一个集群讲清楚。把多个集群放进一个厅，并给出冗余、冷机和母线槽的，是这三家的设计文件。热沉和标准体系要一起选定。
施耐德 AI Factory 参考设计：RD108、RD110、RD111
供应链同一套 GPU 数量在 IEC 与 ANSI、冷机与绝热冷却之间各有一份图纸。先选标准体系和热沉，再打开对应的文档号。
RD108 是 GB200：厅级 7,392 kW，Tier III，IEC，冷冻水，三个 1,152 GPU 集群，Motivair 液-液 CDU 配高温冷机。RD110 是 GB300 的 IEC 版：厅级 7,536 kW，总机柜 96，AI 柜最高 142 kW，网络柜最高 15 kW，厅面积 3,454 m²，400 V、50 Hz；设计方给出的全年满载 PUE 在巴黎约 1.09、在新加坡约 1.16，热沉仍是高温冷机。RD111 是 GB300 的 ANSI 版：同样 7,536 kW、三个 1,152 GPU 集群、液-液 CDU，热沉改成带绝热的流体冷却器。三份都覆盖设施电力、设施冷却、IT 空间和生命周期软件。
出图时：报方案时同时写文档号、标准（IEC 或 ANSI）和热沉。1.09 这个 PUE 是 RD110 在巴黎气候下的设计值，换气候区要改用该设计自己的另一组数字。
维谛 360AI 参考设计 #020（GB200，约 7 MW）
供应链和 NVIDIA 一起画的 GB200 电力冷却蓝图。它是后续 GB300 厅级图的界面母版，液风比要用它自己的 72/28。
六个 SuperPOD，方案容量约 7 MW，IT 负荷 6,912 kW，每个 POD 1,152 kW。48 台计算柜按 130 kW，48 台支持柜按 14 kW，另有线缆管理柜。热量按 72% 进液冷、28% 进房间级风冷。配电是 4 保 3，冷却 N+1。每个 POD 八条 400 A、240/415 V 母线槽，计算柜每条母线两个 60 A 插接箱，支持柜用 40 A。每台计算柜 8 个 33 kW 的 OCP 电源层。CDU 是每 POD 两台 1,368 kW、泵 N+1，再加房间级 CRAH。
出图时：画母线槽、插接箱和 CDU 台数时对照这份 PDF。72% 液冷是这份 GB200 设计的划分；GB300 若改用联想的约 90/10，风侧空调要按新的热量分裂重算。
西门子 100 MW 超大规模 AI 蓝图（GB200，UL）
供应链把 GB200 集群收到 100 MW IT 负荷时的电气、液冷和控制分层。机柜功率用的是这份蓝图自己的 127 kW。
蓝图面向 UL 市场的 Tier III 能力，计算柜为 GB200 NVL72、单柜 127 kW，支持柜 14 kW，液冷采用 nVent 的冷板方案。正文按仓级模块展开中压、UPS、冷却、控制和运行扩展，并附术语和示意。127 kW 是西门子在这份文件里采用的机柜额定值，和维谛图纸上的 130 kW、NVIDIA GB300 企业参考架构的 142 kW 各属于自己的封面。
出图时：项目做到园区级、需要中压和仓级复制时读这份。更换成 GB300 之前，先把 127 kW 换成所购机型的铭牌，再重算仓的容量。
OEM 机柜接口
合同上的铭牌、插头和冷却液以购买的那一家产品指南为准。NVIDIA 参考架构给出的是平台上限。
联想 NVIDIA GB300 NVL72 产品指南与规格书
供应链售前能直接引用的 GB300 整柜接口：功率、母排、进线、冷却液和托盘深度都在这本指南里。
LP2357 约 58 页，面向售前和架构师。它写明混合冷却：CPU、GPU、NVSwitch 走冷板，OSFP 光模块、硬盘和电源分配板上的一部分器件走风。运行值包括 135 kW TDP 和最高约 155 kW 峰值，约 90% 的热进液体。二次侧可以是去离子水或 25% 丙二醇，进水在实际应用中可到 45°C。电源层输出约 50 V 直流，进线按 60 A 级插头，计算托盘深 766 mm。两页的 DS0207 适合做附件，接口细节以产品指南为准。
出图时：联想供货时，报装、CDU 水质和通道深度引用 LP2357，并在方案里注明与 NVIDIA 142 kW 上限的对应关系。
超微 NVIDIA GB200 NVL72 SuperCluster 规格书
供应链超微整柜的液冷选项，包括机柜内 CDU 和没有冷冻水时的液-气方案。GB300 整柜要另取超微对应型号的规格书。
规格书描述的是 GB200 NVL72：72 颗 B200、36 颗 Grace、NVLink 交换托盘，以及柜内或列间 CDU。其中一种 CDU 容量写到 250 kW，并提供 240 kW 或 180 kW 的液-气方案，用于现场没有冷冻水的机房。网络部分点名 BlueField-3、Spectrum-X 和 Quantum-2。电源层数量和整柜运行功率在规格书表格里，和 GB300 企业参考架构的 142 kW 上限对的是不同机型。
出图时：超微供货、而且机房暂时没有冷冻水时，用这份规格书讨论液-气 CDU 的容量和摆放。有冷冻水的 GB300 项目改用该机型自己的规格书和厅级参考设计。
开放接口与水温分级
机柜怎么插进液冷歧管、冷冻水按哪一档水温设计，以 OCP 和 ASHRAE 的文本为准。芯片发布会不定义这些接口。
OCP：GB200 NVL72 的机柜、托盘和 1400 A 母排贡献
确认整柜机械接口的公开来源：机柜、1RU 液冷托盘、盲插歧管、快接头浮动和母排。
NVIDIA 在 2024 年 OCP 全球峰会上把 GB200 NVL72 的机电设计贡献给社区，范围包括机架、计算与交换托盘、液冷和热环境、NVLink 线缆仓体积。OCP 的记录写明，这套设计建立在 Open Rack v3 上：19 英寸 EIA 支撑、加大的前部线缆空间、1400 A 母排、NVLink 线缆仓、盲插歧管，以及 1RU 液冷托盘上的快接头浮动机构。母排的 1400 A 是柜内导体规格。
出图时：和结构、液冷供应商对机柜接口时引用这组材料。1400 A 用来选柜内母排，不用来选楼内的馈线电流。
OCP 机柜歧管要求与 ACF 设施冷却指引
确认二次侧歧管怎么做、一次侧冷冻水在哪里分界，以及 W17 到 W45 各档水温分别允许什么冷源。
歧管白皮书面向 19 英寸机柜和 ORv3，要求流量分配均匀、流速低于 ASHRAE 给出的 1.5 m/s，工作温度 17–65°C。这个区间的注释写的是 ASHRAE W45、CDU 约 2°C 端差、回路温升约 13°C。ACF 指引站在设施水一侧，强调和机柜内液冷回路的分界，并引用 ASHRAE TC 9.9 2021 年液冷分级：W17、W27、W32、W40、W45 和 W+。冷板可以落在 W32 及以上，从而让冷却塔承担更多小时数。机房内的设备进风要保持在露点以上约 2°C。
出图时：写 CDU 的一次侧水温和二次侧温差时引用这两份。45°C 进液对应 W45 这一档，压缩机是否全年运行取决于项目气候，而不是档位名称本身。
ASHRAE TC 9.9 Datacom 系列与液冷水温分级
确认W 级水温的命名来源。合同如果写“按 ASHRAE W45”，依据是这套指南，不是厂商宣传页上的同一行字。
Datacom 系列里的 Thermal Guidelines 定义了数据通信设备的空气和液体环境分级。液体分级从 W17 到 W+，数字是设施供水温度的上限，单位为摄氏度。W45 表示设施供水可到 45°C。丛书需要购买。OCP 的两份公开文件转引了 2021 年版的分级表，适合在方案里定位档位；正式引用水温包络时，以 ASHRAE 原文的表格为准。
出图时：规范书写水温分级时注明 ASHRAE TC 9.9 的版本。方案正文可以先用 OCP 转引的分级表讨论冷源，再把合同条款指回 ASHRAE 原文。