从链路恢复到作业进展的 Fabric 运维

AI Fabric 的故障处理需要同时观察三条进度：包是否向前交付，连接是否能释放资源，作业是否仍在有效执行。链路恢复可以掩盖部分误码，端到端重传可以绕过丢包，多路径可以隔离坏路径；每一层都有自己保留的状态、探测周期和失败出口。运维设计的任务，是让这些局部恢复最终收敛到可验证的服务状态，并把维护操作纳入同一套状态管理。S043 pp. 12–15 S039 pp. 103–107 S040 pp. 61–72

把故障归入对应的恢复层#

ESUN 将 LLR 用于减少链路 BER 对上层暴露的包损伤，同时由 PFC/CBFC 管理瞬时接收空间，由 EH-ECN 表达持续拥塞。交换机转发还要维护 EH-TTL，及时终止环路，并重新计算修改后的 FCS。交换机必须支持 PFC、CBFC、LLR，主机的后两项为可选；因此，端口能力配置必须与对端角色和上层恢复方式一起登记。S043 pp. 11–15

链路外的资源丢弃、路径失效和目标操作拒绝由传输层处理。MRC 可以识别 NO_BITMAP、NO_PKT_BUFFER、NO_RESOURCE 等资源 NACK，并结合 SACK 缺口和超时重传。Falcon 把资源丢弃传给 RUE 调整 ncwnd，ULP RNR 则按照事务语义延迟重试，CIE 使用 Resync 推进窗口后报告错误。运维分类应保留这些原因，便于区分网络注入过量、接收处理变慢和合法性检查失败。S040 pp. 33–35, 41–43 S039 pp. 57–62, 80–81

表中首要恢复位置依据协议机制，连接到作业的指标是相应工程观测设计。S043 pp. 12–15 S040 pp. 30–43, 61–64 S039 pp. 103–107

SUE-T 尤其需要按实现识别恢复范围。带 GoBackN 的实现通过重传推进，有序接收使一个缺口可能带来一串重发；省略传输重传的实现则在单包残余丢失后使连接失败。交换机显示链路在线时，连接仍可能因丢包或操作阶段错误结束。验收时应同时覆盖可由 LLR 修复的链路错误和链路之外的丢弃情形。S041 pp. 19–22

遥测以包路径为骨架关联状态#

一组可用于处置的遥测，应把同一次异常串过交换机、NIC、连接和作业。对于 Falcon，逐路径时延、ECN、接收 buffer occupancy、fcwnd/ncwnd、路径权重与 RTO 可以解释注入量为何变化；received 与 acknowledged 的差值则指出数据停留在包接收之后、ULP 确认之前。RUE 事件队列和返回结果的处理进度，又决定这些反馈多久能进入实际发包门控。S039 pp. 62–69, 82–89, 96–103

MRC 的对应信号包括 cack_psn 的推进、SACK 位图片段、ooo_count、接收字节累计值、receiver penalty、MPR、EV 状态与探测结果。累计确认停住而远端接收字节继续增长，说明后续数据仍在抵达，问题集中在前缀缺口；接收 penalty 持续升高则指向目标处理压力。协议将这些字段用于控制，运维实现可将其聚合为连接进展与接收资源健康指标。S040 pp. 36–43, 47–51, 57–63

这些观察需要稳定的关联标识。MRC 在多平面模式允许 SACK/NACK 从不同于请求入端口的平面返回，请求端要依靠唯一 EV 或发送元数据识别原始正向平面。用返程控制包的入端口归因正向故障，会把诊断引向错误平面。Falcon 同样以保留的 path-id 匹配逐路径反馈，标签其余位变化时还要保留变更前后的关联。S040 pp. 63–64 S039 pp. 66, 69–72

ESUN Rev1.0 的运营者要求集中在封装、转发、链路能力和拥塞字段。基于这组协议状态，工程遥测还需补齐每端口的能力启用状态、信用停滞或暂停活动、LLR 活动、未知目标丢弃、TTL 丢弃与 ECN 标记，再把目标地址、Flow Label、TC 和受影响连接关联起来。其具体计数器名称、采样频率和暴露接口，应由所选交换芯片、NIC 和管理栈定义。S043 pp. 11–15

维护首先改变路径资格，再处理设备#

计划维护能够利用管理面事先知道的故障信息。MRC 的 EV 状态分出 DENIED，管理程序可将已知路径禁用，NIC 从剩余活跃集合选择；端口也可管理性禁用。SKIP 用于短暂拥塞，ASSUMED_BAD 用于检测到的不可达，二者的恢复可由计时或探测触发。维护流程应选择管理状态，并记录何时允许路径重新加入。S040 pp. 62–64

可据此设计一条维护路径：先确定受影响 EV、端口、QP 与作业，核算移除后的容量；再改变路径资格，使新包进入其余路径；观察旧在途数据和连接完成进度，再进入设备升级或替换。恢复时先验证地址、类别、标记和探测，再逐步恢复可用路径。MRC 的控制 API 为 profile、EV 状态、EV probes 和 CC profile 提供管理入口，应用与控制程序之间的资源分配协调由部署实现完成。S040 pp. 69–72

Falcon 的路径控制通过 RUE 返回标签、权重及 WRR credit 重启标志进入数据通路。变更时需保留未完成包的 path-id 归属与重传状态，等待相应确认或连接清理。SUE-T 基础规范则把端口故障后的连接迁移列为未来工作。集群维护方案应据实际端点能力选择路径排空、连接重建或作业重启方式。S039 pp. 69–71, 103–107 S041 pp. 20–21

双平面维护是一项容量事件#

训练参考架构将平面物理隔离和分平面升级作为维护手段：升级 Plane A 时 Plane B 保持通信，验证后再升级另一侧。对称双平面停止一个平面，会使聚合可用带宽减少约 50%；平时需要超过剩余容量的工作负载将延长通信阶段。部署前应以单平面剩余容量验证基本负载，并观察应用在降容状态下的持续进展。S048 pp. 38–43, 51–52

端口速率和计量基线要一并记录。1×400G 与 2×200G 可以具有相同的每 GPU 聚合带宽，后者提供两条独立平面入口；2×400G 则是在另一容量基线上实现双平面。拓扑带来的故障隔离、首跳域大小和总带宽需要分别核算。参考架构对机柜布线还建议分开平面的线缆路径和配线，减少共享物理事故。S048 pp. 38–43

实际容量应按阶段检查。同步集合通信在少数节点上持续等待时，均匀的端口利用率可能仍伴随较差的作业完成时间。维护演练可同时记录剩余平面的链路利用率、拥塞和重传、集合操作尾延迟，以及训练迭代或推理服务的进度。由此判断瓶颈来自剩余带宽、路径映射，还是某个接收端资源。S044 pp. 32–34 S048 pp. 52–53

声明式状态让替换和回滚有共同起点#

训练与推理参考架构使用 Wiring/VPC CRD 表达期望拓扑、连接和租户配置，由控制器及 agent 渲染到 SONiC；gNMI 提供设备配置与遥测接口。持续 reconciliation 比较期望与实态，设备替换后重新关联身份与 profile，再恢复逻辑配置。控制器短暂离线时，交换机保留最后应用的配置继续转发，管理动作与既有数据转发形成不同故障域。S047 pp. 36–39 S048 pp. 50–52

这类控制模型与传输控制器需要共享配置事实。MRC Controller 的状态可持久化在内核驱动或固件，即使管理进程退出，已配置 profile 仍可能存在；ESUN 地址与类别又由全网静态配置建立。一次回滚必须同时核对交换机配置、NIC profile、端点地址与作业实际使用的 QP 属性，避免只恢复其中一侧。S040 pp. 69–72 S043 p. 14

RoCE 参考方案的类别策略也应随所选传输 profile 管理。推理架构只为 Distributed Inference 的后端 RDMA 类启用 PFC/ECN，前端和存储保持各自 QoS；MRC 将控制流配置为高优先 best-effort，建议避免 trimming/WRED，数据类可以支持 trim；SUE-T 则要求其流量类别获得无损服务。网络配置编排需要接收这种差异，并据端点实际标记验证进入了正确队列。S047 pp. 37, 41–42 S040 pp. 44–45 S041 p. 20

用进展和回收验证故障已经结束#

一套完整演练可从拥塞到失效逐级推进：制造短时 incast，观察窗口与接收压力恢复；对部分路径施加丢包或不可达，观察 EV 排除和探测；停用一个平面，检查剩余容量；最后中断目标处理，让包交付确认与事务完成分离，验证等待者最终获得完成或错误，资源最终释放。这些场景来自协议的不同控制边界，适合逐项映射到平台验收。S039 pp. 61–71, 103–107 S040 pp. 33–43, 61–64

参考架构中的 Alloy、gNMI、Prometheus 与 LGTM 提供遥测承载，SLI 应按设备、端口和租户标识聚合。逻辑拓扑、策略与工作流可以先在虚拟环境演练，真实缓冲、时间戳、链路重试和负载下的尾延迟则在所选设备上核验。验收结果应能够指出故障消除后累计确认重新推进、资源占用回落、路径恢复受控，以及作业完成时间返回预期范围。S047 pp. 38–43 S048 pp. 50–53

这条从包到作业的证据链依赖可靠传输定义的确认边界、拥塞与多路径定义的控制状态，以及Scale-up Ethernet定义的接口和链路契约。把三者放进同一份设备能力与故障演练记录，运维才能从“链路恢复”继续追到“通信与作业重新完成”。