AI Factory 的系统架构与跨域约束
沿工作负载、资源组织、机架接口与运行模型展开完整技术体系
建立计算、状态、互联、电力、热管理和运行模型的共同坐标,追踪各技术域之间传递的需求与约束,并用联合容量模型连接系统设计。
AI Factory 是一个由工作负载驱动、跨越计算与设施的系统。模型执行产生计算、通信和状态访问需求,集群架构把这些需求映射到加速器与 Fabric,机架集成确定设备的物理接口,供电和冷却定义持续运行包络,管理与模型系统再把运行状态反馈给资源分配。
OCP 的 Open Data Center 倡议将参考设计、电网协同、服务协议、跨 IT/设施遥测和功率估算放在同一框架中;AI Fabrics 建模白皮书则把并行策略、硬件拓扑和工作负载映射联系起来。两条主线在高密度机柜处交汇:上层决定怎样使用资源,下层决定资源能够在什么条件下持续交付。S051 pp. 3, 6–10 S044 pp. 8–21, 51–56
体系关系图#
图中各节点是设计对象,连线表示需求、承载或反馈关系。选择一个技术域,可以查看它向其他域传递的主要约束,并直接进入相关专题;下表保留完整关系说明。
| 约束关系 | 传递的工程量 | 连接的设计决策 |
|---|---|---|
| 工作负载 → 计算与存储 | 运算类型、状态大小、访问频率、依赖顺序 | 精度、并行度、内存容量、分层与复用 |
| 并行执行 → Fabric | 通信参与者、消息大小、同步节奏、关键路径 | 拓扑、带宽、时延、拥塞控制和映射 |
| 设备 → 机架 | 体积、重量、功率、热分布与接口位置 | 机械布局、母排、水路、布线和维护空间 |
| 电力与冷却 → 资源池 | 可持续功率、瞬态响应、散热与冗余能力 | 可安装容量、功率分配和运行点 |
| 管理与遥测 → 系统模型 | 配置、身份、故障、时间与性能状态 | 验收、定位、维护与候选变更评价 |
| 系统模型 → 运行决策 | 预测表现、约束检查和情景比较 | 作业放置、容量释放、变更和控制 |
以上关系是对架构、设施与数字孪生材料的综合拆解。S049 pp. 8–18 S053 pp. 7–9 S070 pp. 13–20, 27–38
计算组织与物理组织的对应#
计算侧按照执行依赖组织资源。Tensor Parallelism 将层内计算分布到多个设备,频繁交换中间结果;Pipeline Parallelism 在阶段之间传递激活及反向数据;Data Parallelism 在对应参数分片的参与者之间同步梯度;Expert Parallelism 根据路由结果交换 Token。通信方式随执行策略改变,网络设计和资源放置需要知道每次通信的对象、大小和依赖。S044 pp. 11–16, 35–37
物理侧按照可复用系统单元组织设备。加速器节点或 Pod 构成紧耦合计算单元,OPG-M 将 M 颗加速器及配套网络、存储和管理资源组织起来,多个 OPG 加上共享 Spine、聚合与入口资源形成 XOC-N 集群。架构图进一步落到设备数量、端口、线缆、供电、散热和管理对象,才形成可施工的系统设计。S049 pp. 8–18
两种组织方式需要显式映射。一个 Tensor Parallel 组适合放在满足其通信要求的高速域内;数据并行组沿对应参数关系建立通信参与集合;多个并行维度叠加后,设备映射还要兼顾内存容量、拓扑维度和共享带宽。硬件图与执行轨迹为这种映射提供共同输入,性能评价再回到完整执行关键路径。S044 pp. 51–55
这条链对应三组专题:并行执行与通信模式 展开需求,Pod 与开放集群 展开资源组织,拓扑映射与性能模型 展开两者的结合。
推理系统把状态变成一等资源#
推理过程中,权重、KV Cache、请求上下文和服务状态具有不同访问方式。Prefill 处理输入上下文,Decode 持续生成输出;请求长度、并发和状态复用方式共同决定内存容量、带宽及跨设备传输压力。将不同阶段分开部署后,需要把计算资源分配与状态移动一起设计。S044 pp. 10–16, 37–44
因此,计算系统规划至少同时维护三种视图:执行视图记录每个阶段的计算和依赖,状态视图记录数据大小、驻留位置与生命周期,服务视图记录请求的延迟和吞吐目标。它们分别连接并行策略、内存与存储层级、阶段间网络。状态扩展改变访问路径,网络改善又影响可采用的解耦粒度。
在这个层面,推理阶段解耦、Agent 状态与恢复 和 存储层级 是相互关联的技术主题。数值格式、内存器件和 Chiplet 则沿着器件到系统的路径改变这些设计的成本与性能条件。
机柜是跨域集成的关键界面#
设备功率和热流密度上升后,机柜同时承接机械、电气、流体和通信接口。母排位置影响设备布置,水路接口影响插拔与维修,光电连接影响布线空间和服务路径,机柜重量与维护高度又回到建筑和运输要求。
Open Data Center 0.7.0 用结构承载、行布局、功率线密度与液冷连接等共同设计包络,支撑不同平台和多代设备。其功率与冷却要求按各自对象分别表达:行级平均值、局部高密度目标、机柜接口和设施连接具有不同的设计用途。S053 pp. 7–9
机架集成因而需要一套共同坐标:设备放在哪里、由哪条电路供电、接在哪段水路、连接哪些交换机端口、维护时影响哪个范围。电源、液冷和网络团队围绕这套坐标交付接口数据,系统团队才能评价正常运行、故障切换和维护退出三类场景。
顺着这一界面,可以进入 机架集成、机架配电、液冷连接器 和 设施设计。这些文章分别展开同一集成对象的不同工程侧面。
容量规划是一组联合约束#
从设备额定值到可持续运行容量,中间要经过功率配置、实际工作负载、冷却能力、冗余和运行协议。OCP 在功率估算倡议中指出,运行点、软件、工作负载、电冷系统和服务协议都会影响所需配置功率;提高这些条件的可见性,有助于减少搁浅容量。S051 pp. 9–10
下面用一个简化的同质设备模型说明约束结合的方法。设设备在给定工作负载下需要功率 ,向指定冷却系统排热 ;已扣除共享设备和冗余预留的可用供电为 ,可用冷却为 ,网络与空间分别可承接 和 台设备。初步可部署数量为:
这是用于解释容量规划的本文演算。进一步设计时,功率与冷却还要按支路、机柜和故障域分别检查;整厅容量会被局部接口条件进一步约束。设备数量确定后,还要用真实工作负载评价吞吐、时延和完成时间,得到服务层的可交付能力。
这一方法还揭示技术投资的传递关系:解除供电瓶颈后,冷却、端口或布局可能成为下一项约束。规划需要记录各技术路径释放了哪个约束、对相邻技术域提出什么新要求,以及整套方案怎样验证。
运行数据把技术体系连接起来#
硬件管理提供设备身份、配置与故障信息;网络提供链路、拥塞和传输状态;电源与冷却提供功率、温度、压力和流量。把这些数据与真实设备关系对齐,就能把局部异常映射到作业、机柜和设施的影响范围。
数字孪生进一步在当前状态上评价候选动作:新增设备会怎样改变电冷负荷,维护交换机会怎样影响通信路径,调整作业放置会怎样影响热点与容量利用。行为模型、数据同步、联合仿真和动作流程组成一条持续校验的运行链。S070 pp. 17–24, 27–38
对技术布局而言,完整体系由两类成果共同构成:各技术域的器件、协议和算法能力,以及跨技术域的接口、模型和验证能力。前者改善局部约束,后者让这些改进进入可交付的系统。后续文章沿这两条线展开,既深入组件机制,也持续连接它们对整套 AI Factory 的影响。