IB 网络下不同租户业务隔离：PKey 分区与 IPoIB 子网

InfiniBand（IB）网络的高性能场景（AI 训练、HPC、裸金属）常要多租户隔离，做法和以太网 VLAN 思路相通——靠 Partition Key（PKey）。

一、隔离原理：PKey 类似 VLAN

IB 通过配置 Partition Key 实现不同租户/应用间的网络隔离，不同租户用不同 PKey，效果类似以太网的 VLAN。通信模式上：IPoIB（IP over InfiniBand）让 IB 承载 IP 包，基于 IP 的应用可跑在 IB 上，此时在 IB 网口配 IP（静态或 DHCP）；RDMA/原生 IB 模式下同样可用 PKey 隔离。裸金属服务器（BMS）选支持 IB 的规格即可动态创建 IB 网络，之后通过 RDMA 高速通信。

二、子网管理与 opensm

IB 网络由 Subnet Manager（SM）统一管理，常用 opensm。实践中新接 IB 交换机时接口可能呈黄色 initializing，需在其中一台服务器上带参数启动 opensm 并绑定 GUID（如 opensm -B -g 0x946dae...），SM 就位后接口转绿、网络正常。通常网络中第一台启动 opensm 的机器即为 SM。PKey 的划分与隔离在 SM 侧配置实现。

三、多租户落地

给每个租户分配不同 PKey，节点按 PKey 加入对应分区，实现分区内互通、分区间隔离；IPoIB 模式下再叠加 IP 子网规划。对共享 IB 集群（多团队/多业务）这是标准做法，既保高性能又保隔离。

三、租户隔离方案要点

• PKey 分区 → IB 用 PKey 类比 VLAN 做租户分区，端口按 PKey 准入。
• IPoIB 子网 → 不同租户分不同 IPoIB 子网，路由隔离。
• 发放 → 由 BMS/opensm 统一发放 PKey，禁止手动改。

IB 租户隔离容易被当成”内网无所谓”而省掉；多租户 HPC 场景 PKey 配错会导致跨租户互访，分区策略必须随租户生命周期走。