ML Network Interconnect（ML ネットワーク・インターコネクト）

GPU/TPU 間の通信ファブリックは scale-up (NVLink/xGMI/TPU ICI/UALink、ノード内 ~TB/s ~µs 以下) と scale-out (IB/RoCEv2/Spectrum-X/UEC、ラック越え ~Gbps〜Tbps ~µs〜十数 µs) の二層。物理基盤 tech-71、並列 tech-48、スケジューラ tech-80 の境界の配置層。訓練 ~2025-08 依存で confidence: medium 固定、未確認は [VERIFY]。

なぜ ML 専用ネットワークか

AllReduce は周期同期型で TCP/IP の数百 µs〜ms 遅延と確率的損失が直接コラプスする。遅延: TP ~µs (NVSwitch 外不可)、PP ~十数 µs、DP ~数百 µs。帯域: 7B FP16 勾配 14 GB、1T で 2 TB を step ごと同期。NVLink 4 (900 GB/s) と IB NDR (50 GB/s) の 約 1 桁差が hierarchical AllReduce のボトルネック位置を決め、「速い小ドメイン」と「広い遅い」の非対称性で DP/TP/PP/EP を配置する。

スケールアップ — NVLink / xGMI / TPU ICI / UALink

NVLink 3 (A100) 600 GB/s、NVLink 4 (H100) 900 GB/s、NVLink 5 (B100/B200) 1,800 GB/s [VERIFY]。DGX H100 は 4 NVSwitch 3 で 8 GPU 完全結線、AllReduce 実効 ~394–450 GB/s/GPU [VERIFY]。GB200 NVL72 は 36 Grace + 72 Blackwell 単一ドメイン aggregate ~130 TB/s [VERIFY]、~120 kW + DLC、TP=72 単一ドメイン成立 (DGX H100 TP≤8 制約解消)、断片化が新課題 (tech-80)。AMD xGMI は MI300X 8-die all-to-all、帯域 448 vs 896 GB/s と計測差 [VERIFY]、RCCL 経由 (tech-70)。TPU ICI は 3D torus (v5p ~2,765 Gbps/chip [VERIFY])、ポッド 8,960 chips、optical+electrical hybrid + dimension-ordered routing。AWS NeuronLink 2 (Trn2 UltraServer 16 chips) 非公開 [VERIFY]。UALink 1.0 は AMD/Google/Intel/Meta/Microsoft/Qualcomm 6 社 (NVIDIA 不参加)、PCIe 物理層拡張 [VERIFY]、GA 製品2026-05 未確認。

スケールアウト — IB / RoCEv2 / Spectrum-X / UEC

IB は EDR 100 / HDR 200 / NDR 400 / XDR 800 Gbps、Quantum-2 64 ポート、port-to-port ~20 ns [VERIFY]。ネイティブ RDMA、ハード CC、SHARP で AllReduce をスイッチ ASIC オフロードし小メッセージ ~50% 削減 [VERIFY]。XDR/Quantum-3 GA 2026-05 未確認。RoCEv2 は IP-routable RDMA、性能パリティに lossless Ethernet 必須: (1) PFC per-priority pause、(2) ECN AQM、(3) DCQCN (Zhu et al. SIGCOMM 2015、NIC で ECN + rate-based CC)。同期バーストの単発ドロップが retransmit カスケード→タイムアウト、不備で 10–100× レイテンシ膨張。Spectrum-X は Spectrum-4 (51.2 Tbps) + BlueField-3、Adaptive Routing + DCQCN で IB 近接性能 [VERIFY]。UEC (2023、AMD/Broadcom/Cisco/Google/HPE/Intel/Meta/Microsoft、NVIDIA 不参加) は新トランスポート: connectionless RDMA、per-packet spray、受信側 ordering。UEC 1.0 批准2026-05 未確認だが GA で IB 差を埋める。

NIC・HCA・DPU

ConnectX: CX-6 (200/HDR)、CX-7 (400/NDR、PCIe 5.0、SHARP、DGX H100 標準 8 rail)、CX-8 (800/XDR、PCIe 6.0 [VERIFY]、GA 2026-05 未確認)。BlueField-3 は CX-7 + Arm A78 16 cores [VERIFY] + 暗号/ストレージ、~75W [VERIFY]、TLS/NVMe-oF/IPsec オフロード、GPUDirect Async と multi-tenancy。AMD Pensando (2022 買収 ~$1.9B [VERIFY]、Elba 400 GbE [VERIFY]) MI300X 展開で増加。AWS EFA は SRD (非標準・connectionless・per-packet multipath・受信側 reorder) で RC HOL 回避、libfabric + aws-ofi-nccl で NCCL bridge、P5 は 3,200 Gbps (8×400) = 8-rail 相当。Google Falcon (Jupiter 上 proprietary RDMA-like、receiver-driven CC + ECMP spray [VERIFY]、A3/A3 Ultra、v2 非公開、Google “Jupiter Evolving” SIGCOMM 2022)。

トポロジと二等分帯域

Fat-Tree (Clos) は業界標準 3-tier または leaf-spine、full-bisection は uplink=downlink、2:1 oversubscription 多。1,024 GPU・NDR400 で bisection BW = 512×50 = 25.6 TB/s、1 TB モデル AllReduce 2(N-1)/N×D ≈ 2 TB。Rail-Optimized は per-GPU NIC + per-rail ToR、DGX H100 8-rail × NDR400 = 400 GB/s/node、single-rail 比 8×。Meta/MS/Google 採用 [VERIFY]、NCCL は NCCL_TOPO_FILE で認識。Dragonfly+ は HPE Cray Slingshot (Frontier/Aurora/LUMI、200 Gbps)、exascale 向け。Torus は TPU pod 3D dimension-ordered、決定的レイテンシだが straggler が ring 全体を巻き込む。トポロジは TP/PP/DP の物理境界 (tech-48)。

NCCL / RCCL / oneCCL / MSCCL++ / Gloo

NCCL は NVLink/NVSwitch/IB/RoCE/TCP を auto-topology 検出。Ring (大 BW-optimal)、Tree (小低レイテンシ)、Double Binary Tree (CollNet [VERIFY])、Hierarchical (intra-NVLink + inter-IB)。チューニング: NCCL_ALGO/NCCL_PROTO/NCCL_IB_HCA/NCCL_IB_GID_INDEX/NCCL_SOCKET_NTHREADS/NCCL_NSOCKS_PERTHREAD/NCCL_BUFFSIZE/NCCL_P2P_LEVEL/NCCL_TOPO_FILE/NCCL_DEBUG/NCCL_TIMEOUT (デフォルト 1800 秒 [VERIFY])。SHARP は NCCL_COLLNET_ENABLE=1 + Quantum-2 + CX-7 + UFM tree。NCCL 安定版2026-05 未確認。RCCL は NCCL API 互換 + XGMI + IB、cadence historical に遅い [VERIFY]。oneCCL は torch.distributed + Gaudi 3 RoCEv2。MSCCL/MSCCL++ は XML + C++ header-only で hybrid topology 最適化、Azure NDv5 [VERIFY]。Gloo は CPU fallback。

GPUDirect 4 形態

P2P は GPU↔GPU 直 DMA (PCIe/NVLink)、cudaMemcpyPeer、NVLink (900 GB/s) は PCIe 4.0×16 (~32 GB/s) と桁違い (tech-70)。RDMA は NIC↔GPU 直 DMA、レイテンシ ~10–20 µs 削減・CPU ~20–40% 削減 [VERIFY]、nvidia_peermem + MLNX_OFED 5.0+ + CX-4 LX+ または EFA、GDR Copy で small msg PCIe floor 回避。Storage (GDS) は NVMe/Lustre → GPU 直 DMA、cuFile + CUDA 11.4+/GDS 1.0+ [VERIFY]、cuFile ~18 vs POSIX ~6 GB/s [VERIFY]、100B+ チェックポイント reload 分→秒 [VERIFY]。Async は GPU 完了→DPU 直送、CUDA 12.x + BlueField-3 [VERIFY]、streaming/disaggregated KV cache 向け。本質は CPU bounce 除去で ZeRO-3/FSDP2 通信-計算 overlap の物理基礎 (tech-69 KV 移送にも応用)。

CPO・シリコンフォトニクス・OCS

CPO は 400G QSFP-DD ~14W [VERIFY] × 1,600 = 22.4 kW/51.2 Tbps スイッチという電力壁への解で、光エンジンを ASIC パッケージに統合し I/O 電力 5–10× 削減目標 [VERIFY]。Lightmatter Passage (光回路 passive crossbar、sub-100 ns [VERIFY]、本番2026-05 未確認)、Ayar Labs TeraPHY (in-package、~2 Tbps/package・~5 pJ/bit vs ~15 pJ/bit pluggable [VERIFY])、Marvell Teralynx 10 [VERIFY]、NVIDIA 光スイッチ (GTC/OFC 2025 発表 [VERIFY]、製品タイムライン未確認)。OCS: Google Apollo/Jupiter (SIGCOMM “Jupiter Evolving” 2022) は TPU pod 間 OCS を AllReduce 周期で秒〜分単位再構成。Microsoft Sirius (SIGCOMM 2020) は nanosecond optical switching。電気パケット (~ns + stateless) vs 光回路 (~µs〜ms + 受動光) の使い分け。

アンチパターン 10 種

• AP-1 [Critical] RoCEv2 PFC/ECN/DCQCN デッドロック: PFC を一部省略 → ドロップ → retransmit storm → NCCL 30 分タイムアウト。Fix: end-to-end PFC、ECN しきい値 buffer 20–30%、DCQCN を Mellanox 推奨、ibv_send_bw 負荷試験。
• AP-2 [Critical] シングルレール: 1 HCA を 8 GPU 共有 → AllReduce 50 GB/s (rail-optimized の 1/8)。Fix: per-GPU NIC + NCCL_IB_HCA=mlx5_0:1,... + nccl-tests。
• AP-3 [High] NCCL_IB_GID_INDEX 誤検出: dual-IP で GID 0 → TCP fallback → 10–20× 低下、無エラー。Fix: RoCEv2 IPv4 で NCCL_IB_GID_INDEX=3、ibv_devinfo -v 確認。
• AP-4 [Critical] A100+H100 混在 group: 最遅 GPU に同期、BF16 数値差異も。Fix: 世代別 node pool + 別 communicator。
• AP-5 [High] NCCL_SOCKET_NTHREADS 未設定: 100 GbE が ~10 Gbps 滞留。Fix: NCCL_SOCKET_NTHREADS=4 NCCL_NSOCKS_PERTHREAD=4 NCCL_BUFFSIZE=8388608。
• AP-6 [High] Spectrum-X で NCCL_TOPO_FILE 未指定: rail 認識ミス → 単一 rail シリアライズ。Fix: nvidia-topo-gen + NCCL_TOPO_FILE。
• AP-7 [High] MTU mismatch: fragmentation で 3–5× 低下、無症状。Fix: 全ホップ MTU 統一 (IB 4096、RoCEv2 jumbo 9000)。
• AP-8 [High] NUMA affinity 未固定: GPU/HCA 別 NUMA で +5–15 µs・20–30% 損 [VERIFY]。Fix: numactl --cpunodebind + lstopo。
• AP-9 [High] nvidia_peermem 未ロード: GPUDirect RDMA 不可、bounce-buffer、CPU 50–80% スパイク、2–3× 低下。Diag: NCCL_DEBUG=INFO で “GDRDMA not supported”。Fix: modprobe nvidia_peermem + nvidia-smi topo -m。
• AP-10 [Medium] SHARP tree 未配置: Quantum-2+CX-7 でも UFM 無で通常経路、小メッセージ 1.5–2× 損失 [VERIFY]。Fix: UFM + SHARP tree + NCCL_COLLNET_ENABLE=1。

2026 フロンティア

NVL576 / Rubin: GB300 NVL576 (NVSwitch 5、576-GPU 単一ドメイン) GTC 2025 周辺 [VERIFY]、Rubin + NVLink 6 が 2026–2027 [VERIFY]、TP=576 で 3D 並列設計が変わる。UEC 1.0: 批准 2024–2025 目標、2026-05 未確認、初 UEC NIC は Broadcom/Intel [VERIFY]、Ethernet が IB エコノミクスを上回り得る。UALink 1.0 GA: AMD/Intel/Google 一次採用 [VERIFY]、heterogeneous scale-up ドメイン (AMD + TPU 同居 [VERIFY]) が NVIDIA 外で出現するか。In-network compute: SHARP for IB は実運用、P4 スイッチ (Tofino 2、Spectrum-4) の RoCE partial-reduce は研究/初期 [VERIFY]、SwitchML (NSDI 2021)・DPU 上 NCCL proxy 本番採用2026-05 未確認。Photonic switching: Google OCS は Apollo 後継で本番展開 [VERIFY]、Lightmatter Passage 本番・NVIDIA 光スイッチ製品タイムライン未確認。1.6 Tb/s NIC: ConnectX-8 後継 [VERIFY]、UEC 1.0 が 800G/1.6T 設計、PCIe レーン上限超でインパッケージ光必須、rail 数 8→4 削減可 [VERIFY]。

未確認事項

外部検証が取れていない事項は本文中の [VERIFY] 参照。