平台集成与管理/技术文章

光互连的远端消息与故障闭环

从 DSP 透明通道到双侧遥测、持久事件与平台隔离动作

11 分钟阅读·光遥测 / CMIS / ePPS / FEC / RAS

拆解透明消息插槽、固件可靠性、ePPS 和 RTT 校准,串起 CMIS 远端代理、最弱项评分、阈值、事件日志和光链路隔离流程。

正文

大规模光互连的可用性取决于能否把一次抖动定位到具体端点、介质段和时间。平均 BER、模块温度和“端口 up”只覆盖其中一部分状态;FEC 尾部、host/media 两侧差异、远端事件与恢复过程共同决定训练任务是否要等待重试或重放。透明远端消息规范 S054、增强遥测软件规范 S055,以及短距光接口报告 S058,可以拼出从 DSP 之间的消息通道到平台故障闭环的完整路径。S054 pp.11–15 S055 pp.11–15 S058 pp.60–65

在业务通道中建立独立的管理容量#

S054 的透明消息机制利用 DSP line-side 比 host-side 略快的时钟,为管理信息留出额外位槽。主机侧继续按标称速率收发业务,线路侧每传输 N 个 256 位业务块,就插入一个 256 位管理块,远端 DSP 识别并移除管理块后再向主机发送业务数据。它适用于具备对应收发处理能力的光或电 PMD,两端要匹配这套机制。S054 pp.11–14

原图需要对照两侧时钟看:左侧从 host 接收,MSG Tx 向较快的 line-side 注入管理块;右侧 MSG Rx 取出管理块,再回到标称 host 时钟。管理数据的容量由额外线速创造,业务流无需暂停来让出槽位。

DSP 通过线路侧微量提速插入和提取透明消息

原图:S054,物理第 12 页,Figure 3,Conceptual Block Diagram of a Transparent In-band Messaging Link。S054 pp.11–13

默认 N=30,000,相应的额外速率为 Δppm=10⁶/N≈33.33ppm。每个管理槽 256 位中有 240 位用于 message payload,余下 16 位为厂商定义;一条完整消息由 5×240=1200 位组成。规范描述的消息带宽约为 3Mbit/s,实际还需要分配 IDLE、PREAMBLE、同步和校准时隙。S054 pp.13–14 这个容量适合承载状态、远端命令与时间信息,调度较大批量的固件传输时则需要保留业务管理的响应预算。

锁定、组装与可靠重传分别承担责任#

通道的五种报文为 IDLE、PREAMBLE、MESSAGE PAYLOAD、ePPS TIME SYNC 和 ROUND TRIP CALIBRATION。空闲时 IDLE 按固定位置发送,接收器先寻找并锁定管理块位置,再把本端锁定状态告知远端;两端锁定后,发送端才将固件放入缓冲区的完整消息分块发送。默认相邻 payload 之间插一个 IDLE,可由寄存器配置。S054 pp.14–22

硬件完成识别与 1200 位消息重组,消息 CRC、packet numbering、ACK/NACK 和重传由固件完成。若 RX_MSG_READY 已出现但本端 IDLE lock 丢失,固件丢弃该消息并发送 NACK。S054 p.28 对平台软件,管理消息要有超时、完成状态和重试记录;“线路可传业务”“管理块已锁定”“远端命令执行完成”是可分别观察的阶段。故障时这些阶段的先后变化,有助于区分 DSP、消息协议和远端 MCU 问题。

时间同步使多端事件可关联#

ePPS 传送的关键是同步边缘相对于管理槽的时间关系。发送端测量同步周期,再用倒计数表示到下一周期边缘的剩余时间;在下一个可用管理槽里发出这个值,接收端载入自己的计数器,到零时输出同步脉冲。光传播会平移边缘到达时间,重建的周期保持与源同步周期一致。S054 pp.23–27

启动时,两端用带 calibration ID 的往返报文测量路径时延。源端记录发送与返回时刻 T0、T3,目标端记录接收与回发时刻 T1、T2,固件计算

Tf=(T3−T0)−(T2−T1)2T_f=\frac{(T_3-T_0)-(T_2-T_1)}{2}

先扣除目标端等待回发的时间,再取往返的一半,得到光通路单向时延估计。S054 p.27 工程应用还需检查两个方向的传播对称性、计数器频率和 DSP 固定延迟;这些误差会进入时间戳对齐。S055 进一步提供 module time 的读写和远端传播,使模块事件可以纳入同一条时间线。S055 pp.15,21–26

用双端双侧观测拆开故障范围#

S055 要求模块 MCU 处理本地 I2C 查询和远端 in-band 查询。本地主机始终访问本地模块,由本地模块代理远端数据获取;breakout 场景可能有多个 link partner,需要显式选择 target、port 和 side。相应 SDK 目标是持续收集链路状态,在遥测服务器构建 fabric 时间线。S055 pp.11–15,31–35,96

遥测以 1–10 秒可编程周期更新,包含每 lane 的 host-side 与 optical-side SNR、eye height、PAM4 level transition、光侧 MPI、pre-FEC BER、FEC bin histogram、不可纠错码字、relink 次数、LOS/LOL、uptime、模块和 laser 温度以及 DDMI 标志。S055 pp.13–15 将这些量按端点与侧分别保存,才能看见路径结构:某端 host 侧 eye 变差而光功率稳定,提示电接口方向;光侧 MPI 与 Rx power 异常则引向反射、连接或媒体路径;两端共享的 laser、温度或时钟异常又可能形成共因故障。

S058 将可靠性分成链路错误与永久硬件失败。链路错误经过 FEC 后仍可能触发 CRC 失败与重传,等待重试往返会降低有效带宽;硬件失败则要求维修或备用组件接管。同步计算会把局部延迟放大成整个 Pod 等待,因此 FEC 尾部和重试带宽损失常比平均 BER 更接近应用影响。S058 pp.60–64

最弱项评分保留异常信号#

S055 的 Link Health Score 先按类别给出 80、60、40 分,再取所有类别的最小值。这样某一严重异常不会被其他正常项目平均稀释。host 与 media 两侧使用不同类别:media 额外包含 MPI、光功率和 laser bias 标志;link-down 与 FEC histogram 计数器默认从评分中排除,可通过 mask 配置纳入。S055 pp.20,38–40

默认评分表中,pre-FEC BER<10⁻⁸ 为 80 分、10⁻⁸ 至 10⁻⁵ 为 60 分、>10⁻⁵ 为 40 分;SNR>18dB 为 80 分、14.5–18dB 为 60 分、<14.5dB 为 40 分。S055 pp.38–40 评分用于快速定位最低类别,原始指标、有效阈值、mask 和统计时间窗仍应随评分保存。某条链路历史上出现一次 down,累计计数如何重置会显著影响后续解释。

阈值管理命令 0x8004 可设置与读取 FEC bin、BER、SNR、eye height 的两级阈值,配置范围为模块;port 字段用于选中对应模块实例,配置影响该模块。S055 pp.46–48 源规范的高层日志描述与 Event ID 表对部分事件默认阈值给出不同值,因此部署侧应读回当前生效配置,并把版本、阈值和事件规则纳入采集元数据。S055 pp.15,54–55

持久日志让故障证据跟随模块#

诊断数据的对象关系还需跟随 breakout 和换槽更新。一个模块可以对应多个远端 port,同一个物理槽位又会先后插入不同序列号的模块;平台应同时保存设备身份、slot、lane、逻辑端口和远端映射。取回历史事件时按事件发生时的映射解释,才能避免把上一任模块的故障归到新设备,或把同一模块移槽后的连续退化分裂成两起无关事件。S055 的远端 port 选择与持久日志为这种身份关联提供了原始接口。S055 pp.11–15,54,69–70

一个具体诊断序列可以把这些量连起来。假设训练 step 的尾延迟开始增加,本地 optical-side BER 上升,host-side SNR 稳定,同时远端接收功率和 MPI 出现退化。采集器先关联两端时间,确认不是计数器清零或模块重启,再读取 FEC histogram、不可纠错码字与 link-down 历史。若证据集中在媒体段,可按 ODF 断点检查清洁、连接、纤路和交换路径;若只有一端 host 侧眼高异常,则优先检查本地电接口、供电、温度与 retimer。这里的顺序是依据双侧遥测和故障断点构造的工程诊断流程,所用指标和可访问对象来自规范。S055 pp.13–15,31–40,54–70 S056 pp.81,188

统计窗口会影响诊断结果。累计 FEC bin、瞬时 SNR、模块 uptime 和持久事件拥有不同时间语义,采集端应同时保留设备时间、主机采集时间、计数器重置时间以及链路配置版本。由累计计数估算每秒错误率时,遇到回绕、远端不可达或重新训练,应结束旧窗口并建立新窗口。读取频率也要与模块 1–10 秒的内部更新周期配合,避免把重复采样误解释为多份独立测量。S055 pp.13–15,40–45,54

健康评分到平台动作之间可以再放一层状态机:正常状态持续采集;首次退化触发高频观测和原始日志拉取;持续退化后由调度器迁移流量;确认备用资源后隔离链路;恢复时先做端点和媒体检查,再逐步加回业务。阈值迟滞、最短驻留时间和批量隔离上限需要结合业务设置,以减少多个端口同时动作造成的负载转移。这样可以利用 0x8005 的模块级关断能力,也为 OCS 或 EPS 提供完成迁移的时间;平台保留从证据到动作的因果记录。

模块将重要事件写入非易失 circular buffer,重新上电或移到另一台 host 后保留历史。每条事件 32 字节,包含 16 位序号 UID、UTC 纳秒时间、Event ID、四个 detail 字段和保留位;序号回绕及掉电时基需要由解析程序处理。默认 10 秒事件迟滞用于抑制重复事件淹没缓冲区。S055 pp.14–15,54–65

远端 CMIS 字节访问 0x8020 经 LPL 最多操作 114 字节,整页访问 0x8021 经 EPL 最多 128 字节。远端固件管理则按查询、开始、传输、完成、运行、验证后提交组织,主机读取 busy、failed 和 command result 判断完成状态。commit 把已验证运行的镜像设为后续 reset 的默认镜像。S055 pp.69–95 这些接口使故障调查和维护可以跨越单端 host 故障,但操作编排仍需要管理系统承担权限、批次和回退策略。

自动 shutdown 是另一类动作。S055 默认关闭该功能,复位后也保持关闭;启用后,不健康链路触发模块 fault,报告 cause 0x26 并记录 event 0x0C。S055 pp.50–51 平台启用时应先确认备用路由、受影响作业和隔离顺序,使诊断结果、网络迁移与硬件动作形成同一闭环。

光引擎移入 NPO/CPO 后,管理入口也随集成边界迁移。开放光子架构提出把 CMIS 的器件状态经平台管理和 RAS API 汇聚,用 CPER 事件连接设计期 COM 裕量与运行期 BER、FEC 和故障记录。S056 pp.75–79,188 其工程价值在于把故障收敛到 OE、FAU、连接器、ODF、ELS 或电通道,再让OCS 控制面选择隔离和重构。可观测性由此成为光网络的运行基础,也反向提供下一代封装与光子平台设计所需的真实裕量分布。

本文引用 4 份原始资料S0542026_OCP-Transparent_Remote_Transceiver_Messaging_Design_Specification_V0.9.0 ↗S0552026_OCP_Enhanced_Telemetry_Optics_Software_Specification_R1.0.0 ↗S056OPEN SILICON PHOTONICS FOR AI SYSTEMS ↗S058SHORT REACH OPTICAL INTERFACES ↗

延伸阅读

光电路交换的拓扑与时间匹配↗硅光平台的封装、制造与开放集成↗量子处理器的经典闭环与设施集成↗

输入关键词,查找全部技术文章。

全文搜索 · 在浏览器本地运行↑ ↓ 选择 ↵ 打开
阅读导航
技术路径总览 ↗

01总体架构

  1. AI Factory 的系统架构与跨域约束
  2. AI Factory 的系统分层与运行闭环
  3. 从 Pod 组到开放集群的端口扩展
  4. 拓扑放置与端到端性能建模
  5. 面向 3–5 年的技术布局与验证资产

02计算与状态

  1. 低精度计算的表示、缩放与数据路径
  2. 并行策略塑造通信关键路径
  3. 推理解耦与 KV 数据路径
  4. Agent 状态与因果恢复
  5. 存储层级与分布式数据服务
  6. 芯粒系统语义与封装内传输分层
  7. 高带宽闪存的主机与媒体协同
  8. 量子处理器的经典闭环与设施集成

03网络与光互联

  1. 训练 Fabric 的流量控制与运行闭环
  2. AI 传输中的包序、事务序与完成边界
  3. 拥塞反馈与多路径的端点控制环
  4. Scale-up Ethernet 的事务、打包与链路契约
  5. 光电链路的距离、功耗与维修边界
  6. 光电路交换的拓扑与时间匹配
  7. 硅光平台的封装、制造与开放集成
  8. 从链路恢复到作业进展的 Fabric 运维

04液冷与热管理

  1. 从结温到热汇:AI 冷却的热边界与设计包络
  2. 液体回路的热量、压头与动态平衡
  3. 冷却液与接液材料的共同设计
  4. 液体连接器的尺度、自由度与服务接口
  5. 冷却资格验证:从材料试片到动态系统验收
  6. 液冷系统的清洁、充排液与长期维护

05供电与能源

  1. 从中压到芯片:AI 工厂电源架构的分层重构
  2. 高压直流变换:SST、LLC DCX 与板级供电的协同
  3. 机架电源系统:从 72 kW AC 到 100 kW HVDC 的接口链
  4. AI 负载的电力动态:阶跃、储能与母线阻抗
  5. 备用与储能:从脉冲缓冲到清洁能源的连续供电
  6. 高功率直流的安全闭环:故障能量、选择性与运行状态

06平台集成与管理

  1. 机架集成与开放接口
  2. 硬件管理与接口收敛
  3. 平台数据与密钥安全
  4. 可靠性服务与故障闭环
  5. 时间同步与跨域测量
  6. 光互连的远端消息与故障闭环
  7. 园区漫游组播的成员迁移与同步呈现

07设施与运行优化

  1. 数字孪生:系统模型、联合仿真与运行闭环
  2. 设施接口与系统交付
  3. 能源水碳与材料联合评价