总体架构/技术文章

AI Factory 的系统架构与跨域约束

沿工作负载、资源组织、机架接口与运行模型展开完整技术体系

10 分钟阅读·系统架构 / 跨域协同 / 技术体系

建立计算、状态、互联、电力、热管理和运行模型的共同坐标,追踪各技术域之间传递的需求与约束,并用联合容量模型连接系统设计。

正文

AI Factory 是一个由工作负载驱动、跨越计算与设施的系统。模型执行产生计算、通信和状态访问需求,集群架构把这些需求映射到加速器与 Fabric,机架集成确定设备的物理接口,供电和冷却定义持续运行包络,管理与模型系统再把运行状态反馈给资源分配。

OCP 的 Open Data Center 倡议将参考设计、电网协同、服务协议、跨 IT/设施遥测和功率估算放在同一框架中;AI Fabrics 建模白皮书则把并行策略、硬件拓扑和工作负载映射联系起来。两条主线在高密度机柜处交汇:上层决定怎样使用资源,下层决定资源能够在什么条件下持续交付。S051 pp. 3, 6–10 S044 pp. 8–21, 51–56

体系关系图#

图中各节点是设计对象,连线表示需求、承载或反馈关系。选择一个技术域,可以查看它向其他域传递的主要约束,并直接进入相关专题;下表保留完整关系说明。

工作负载与状态#

并行策略和请求形态决定通信对象、状态容量与时间依赖;这些需求共同约束计算资源、内存层级和 Fabric。

约束关系 传递的工程量 连接的设计决策
工作负载 → 计算与存储 运算类型、状态大小、访问频率、依赖顺序 精度、并行度、内存容量、分层与复用
并行执行 → Fabric 通信参与者、消息大小、同步节奏、关键路径 拓扑、带宽、时延、拥塞控制和映射
设备 → 机架 体积、重量、功率、热分布与接口位置 机械布局、母排、水路、布线和维护空间
电力与冷却 → 资源池 可持续功率、瞬态响应、散热与冗余能力 可安装容量、功率分配和运行点
管理与遥测 → 系统模型 配置、身份、故障、时间与性能状态 验收、定位、维护与候选变更评价
系统模型 → 运行决策 预测表现、约束检查和情景比较 作业放置、容量释放、变更和控制

以上关系是对架构、设施与数字孪生材料的综合拆解。S049 pp. 8–18 S053 pp. 7–9 S070 pp. 13–20, 27–38

计算组织与物理组织的对应#

计算侧按照执行依赖组织资源。Tensor Parallelism 将层内计算分布到多个设备,频繁交换中间结果;Pipeline Parallelism 在阶段之间传递激活及反向数据;Data Parallelism 在对应参数分片的参与者之间同步梯度;Expert Parallelism 根据路由结果交换 Token。通信方式随执行策略改变,网络设计和资源放置需要知道每次通信的对象、大小和依赖。S044 pp. 11–16, 35–37

物理侧按照可复用系统单元组织设备。加速器节点或 Pod 构成紧耦合计算单元,OPG-M 将 M 颗加速器及配套网络、存储和管理资源组织起来,多个 OPG 加上共享 Spine、聚合与入口资源形成 XOC-N 集群。架构图进一步落到设备数量、端口、线缆、供电、散热和管理对象,才形成可施工的系统设计。S049 pp. 8–18

两种组织方式需要显式映射。一个 Tensor Parallel 组适合放在满足其通信要求的高速域内;数据并行组沿对应参数关系建立通信参与集合;多个并行维度叠加后,设备映射还要兼顾内存容量、拓扑维度和共享带宽。硬件图与执行轨迹为这种映射提供共同输入,性能评价再回到完整执行关键路径。S044 pp. 51–55

这条链对应三组专题:并行执行与通信模式 展开需求,Pod 与开放集群 展开资源组织,拓扑映射与性能模型 展开两者的结合。

推理系统把状态变成一等资源#

推理过程中,权重、KV Cache、请求上下文和服务状态具有不同访问方式。Prefill 处理输入上下文,Decode 持续生成输出;请求长度、并发和状态复用方式共同决定内存容量、带宽及跨设备传输压力。将不同阶段分开部署后,需要把计算资源分配与状态移动一起设计。S044 pp. 10–16, 37–44

因此,计算系统规划至少同时维护三种视图:执行视图记录每个阶段的计算和依赖,状态视图记录数据大小、驻留位置与生命周期,服务视图记录请求的延迟和吞吐目标。它们分别连接并行策略、内存与存储层级、阶段间网络。状态扩展改变访问路径,网络改善又影响可采用的解耦粒度。

在这个层面,推理阶段解耦、Agent 状态与恢复 和 存储层级 是相互关联的技术主题。数值格式、内存器件和 Chiplet 则沿着器件到系统的路径改变这些设计的成本与性能条件。

机柜是跨域集成的关键界面#

设备功率和热流密度上升后,机柜同时承接机械、电气、流体和通信接口。母排位置影响设备布置,水路接口影响插拔与维修,光电连接影响布线空间和服务路径,机柜重量与维护高度又回到建筑和运输要求。

Open Data Center 0.7.0 用结构承载、行布局、功率线密度与液冷连接等共同设计包络,支撑不同平台和多代设备。其功率与冷却要求按各自对象分别表达:行级平均值、局部高密度目标、机柜接口和设施连接具有不同的设计用途。S053 pp. 7–9

机架集成因而需要一套共同坐标:设备放在哪里、由哪条电路供电、接在哪段水路、连接哪些交换机端口、维护时影响哪个范围。电源、液冷和网络团队围绕这套坐标交付接口数据,系统团队才能评价正常运行、故障切换和维护退出三类场景。

顺着这一界面,可以进入 机架集成、机架配电、液冷连接器 和 设施设计。这些文章分别展开同一集成对象的不同工程侧面。

容量规划是一组联合约束#

从设备额定值到可持续运行容量,中间要经过功率配置、实际工作负载、冷却能力、冗余和运行协议。OCP 在功率估算倡议中指出,运行点、软件、工作负载、电冷系统和服务协议都会影响所需配置功率;提高这些条件的可见性,有助于减少搁浅容量。S051 pp. 9–10

下面用一个简化的同质设备模型说明约束结合的方法。设设备在给定工作负载下需要功率 pp,向指定冷却系统排热 qq;已扣除共享设备和冗余预留的可用供电为 PP,可用冷却为 QQ,网络与空间分别可承接 NnN_n 和 NsN_s 台设备。初步可部署数量为:

N=⌊min⁡(Pp,Qq,Nn,Ns)⌋N=\left\lfloor\min\left(\frac{P}{p},\frac{Q}{q},N_n,N_s\right)\right\rfloor

这是用于解释容量规划的本文演算。进一步设计时,功率与冷却还要按支路、机柜和故障域分别检查;整厅容量会被局部接口条件进一步约束。设备数量确定后,还要用真实工作负载评价吞吐、时延和完成时间,得到服务层的可交付能力。

联合容量演算#

调整净可用资源,观察哪一项成为容量约束。以下为同质设备教学模型。

可部署 90 台 · 当前约束:冷却能力

公式逐项取下限;共享功耗与冗余在输入预算中预先扣除。

这一方法还揭示技术投资的传递关系:解除供电瓶颈后,冷却、端口或布局可能成为下一项约束。规划需要记录各技术路径释放了哪个约束、对相邻技术域提出什么新要求,以及整套方案怎样验证。

运行数据把技术体系连接起来#

硬件管理提供设备身份、配置与故障信息;网络提供链路、拥塞和传输状态;电源与冷却提供功率、温度、压力和流量。把这些数据与真实设备关系对齐,就能把局部异常映射到作业、机柜和设施的影响范围。

数字孪生进一步在当前状态上评价候选动作:新增设备会怎样改变电冷负荷,维护交换机会怎样影响通信路径,调整作业放置会怎样影响热点与容量利用。行为模型、数据同步、联合仿真和动作流程组成一条持续校验的运行链。S070 pp. 17–24, 27–38

对技术布局而言,完整体系由两类成果共同构成:各技术域的器件、协议和算法能力,以及跨技术域的接口、模型和验证能力。前者改善局部约束,后者让这些改进进入可交付的系统。后续文章沿这两条线展开,既深入组件机制,也持续连接它们对整套 AI Factory 的影响。

本文引用 5 份原始资料S044AI Fabrics Perspective and Modeling ↗S049OPEN CLUSTER DESIGNS FOR AI ↗S051OPEN DATA CENTER FOR AI ↗S053Open-Data-center-Spec-Revision-0.7.0-4 ↗S070DIGITAL TWINS FOR DATA CENTERS ↗

延伸阅读

AI Factory 的系统分层与运行闭环↗从 Pod 组到开放集群的端口扩展↗数字孪生:系统模型、联合仿真与运行闭环↗面向 3–5 年的技术布局与验证资产↗

输入关键词,查找全部技术文章。

全文搜索 · 在浏览器本地运行↑ ↓ 选择 ↵ 打开
阅读导航
技术路径总览 ↗

01总体架构

  1. AI Factory 的系统架构与跨域约束
  2. AI Factory 的系统分层与运行闭环
  3. 从 Pod 组到开放集群的端口扩展
  4. 拓扑放置与端到端性能建模
  5. 面向 3–5 年的技术布局与验证资产

02计算与状态

  1. 低精度计算的表示、缩放与数据路径
  2. 并行策略塑造通信关键路径
  3. 推理解耦与 KV 数据路径
  4. Agent 状态与因果恢复
  5. 存储层级与分布式数据服务
  6. 芯粒系统语义与封装内传输分层
  7. 高带宽闪存的主机与媒体协同
  8. 量子处理器的经典闭环与设施集成

03网络与光互联

  1. 训练 Fabric 的流量控制与运行闭环
  2. AI 传输中的包序、事务序与完成边界
  3. 拥塞反馈与多路径的端点控制环
  4. Scale-up Ethernet 的事务、打包与链路契约
  5. 光电链路的距离、功耗与维修边界
  6. 光电路交换的拓扑与时间匹配
  7. 硅光平台的封装、制造与开放集成
  8. 从链路恢复到作业进展的 Fabric 运维

04液冷与热管理

  1. 从结温到热汇:AI 冷却的热边界与设计包络
  2. 液体回路的热量、压头与动态平衡
  3. 冷却液与接液材料的共同设计
  4. 液体连接器的尺度、自由度与服务接口
  5. 冷却资格验证:从材料试片到动态系统验收
  6. 液冷系统的清洁、充排液与长期维护

05供电与能源

  1. 从中压到芯片:AI 工厂电源架构的分层重构
  2. 高压直流变换:SST、LLC DCX 与板级供电的协同
  3. 机架电源系统:从 72 kW AC 到 100 kW HVDC 的接口链
  4. AI 负载的电力动态:阶跃、储能与母线阻抗
  5. 备用与储能:从脉冲缓冲到清洁能源的连续供电
  6. 高功率直流的安全闭环:故障能量、选择性与运行状态

06平台集成与管理

  1. 机架集成与开放接口
  2. 硬件管理与接口收敛
  3. 平台数据与密钥安全
  4. 可靠性服务与故障闭环
  5. 时间同步与跨域测量
  6. 光互连的远端消息与故障闭环
  7. 园区漫游组播的成员迁移与同步呈现

07设施与运行优化

  1. 数字孪生:系统模型、联合仿真与运行闭环
  2. 设施接口与系统交付
  3. 能源水碳与材料联合评价