Distributed Compute Infrastructure（分散コンピュート基盤）

LLM 学習・推論を支える「分散コンピュート基盤」とは、アクセラレータ・ノード、スケールアップ／スケールアウト・インターコネクト、データセンター物理層 (電力・冷却)、ストレージ階層、クラスタスケジューラ、クラウド GPU プラットフォームを束ねた物理〜運用のスタックを指す。分散学習アルゴリズム (tech-48)、コンテナオーケストレーション (tech-66)、推論サービング (tech-69)、GPU 汎用計算 API (tech-70) はいずれもこの基盤の上に乗り、ハードウェア性能・ネットワークトポロジ・電力予算が SLO とスケーラビリティの上限を決める。本稿は基盤側のレイヤを横断的に整理する。

アクセラレータ・ノード

NVIDIA は H100 SXM5 (HBM3 80 GB / 3.35 TB/s / TDP 約 700 W) → H200 (HBM3E 141 GB / 4.8 TB/s、ドロップイン互換) → B100/B200 Blackwell (HBM3E 192 GB / 8 TB/s、TDP 約 1,000 W 未確認) と進化。AMD は MI300X (HBM3 192 GB / 5.3 TB/s / 約 750 W、CDNA 3、APU 派生 MI300A は CPU+GPU 一体) と後継 MI325X (HBM3E 256 GB 級、正確値未確認)。Intel Gaudi 3 (HBM3 容量・帯域要確認、24 ポート 200 GbE RoCE スケールアウト内蔵)。Google TPU v5p (459 TFLOPS BF16、ICI 2,765 Gbps、8,960 チップ pod) と Trillium / v6e (MXU 4.7x 改善のみ発表水準)。AWS Trainium2 は NeuronLink 第 2 世代で EC2 Trn2 へ。専用アーキとして Cerebras WSE-3 (4 兆トランジスタ、44 GB on-chip SRAM、125 PB/s on-chip 帯域、ウェハ収容モデルは HBM 不要)、Groq LPU (SRAM 決定的実行、推論専用) などがニッチで強い。比較軸は (a) HBM 世代/容量/帯域、(b) FP8/FP4 低精度サポート、(c) TDP と冷却要件、(d) NVLink/Infinity Fabric スケールアップドメイン幅、(e) ベンダー ISA とソフトウェアスタック (tech-70)。

スケールアップ・インターコネクト

ノード内 (intra-node) と少数ラック内 (intra-rack) で GPU 同士を密結合する層。NVIDIA は NVLink 4 (H100、双方向 900 GB/s/GPU、DGX H100 は 8 GPU を NVSwitch 3 でフル接続)、NVLink 5 (B100/B200、1,800 GB/s/GPU)、GB200 NVL72 (Grace CPU 36 + Blackwell GPU 72 を NVSwitch 4 で単一 NVLink ドメイン化、全対全 130 TB/s、ラック電力約 120 kW、DLC 必須) と階段状に密度を上げる。AMD は Infinity Fabric / xGMI で MI300X 8 基をフル接続 (ダイ間帯域は約 896 GB/s、確定値要確認)、Google TPU は ICI (Inter-Chip Interconnect) で 8,960 チップ pod 全体まで一体運用。UALink 1.0 (AMD/Google/Intel/Meta/Microsoft/Qualcomm、NVIDIA 非参加) はオープン NVLink 代替として 2024 年中の仕様公開を狙い、加速器ベンダー乗換余地を拡げる。スケールアップの設計は (a) ドメインサイズ (8/72/数千)、(b) all-reduce 帯域がモデル並列の階層を決め、(c) ドメインを超えた瞬間にスケールアウト側 (InfiniBand/Ethernet) の帯域がボトルネックに変わる、という不連続を伴う。

スケールアウト・ネットワーク

ラック間・ノード間を結ぶ層。InfiniBand は NDR 400 Gbps (50 GB/s/port、Quantum-2) が AI 主戦場で、XDR 800 Gbps (Quantum-3 系) は 2024–25 のロードマップ (GA 時期要確認)。低レイテンシ・ロスレス・ハードウェアコレクティブで NCCL/RCCL と相性が良い。RoCEv2 (RDMA over Converged Ethernet) は Ethernet を IB 代替にする方式で、PFC (優先度別ポーズ)、ECN (輻輳通知)、DCQCN (Microsoft + Mellanox、SIGCOMM 2015) を組み合わせた無損失設定が必須、これを怠ると NCCL がタイムアウト/デッドロックする。NVIDIA Spectrum-X は AI 向け adaptive routing 付き Ethernet プラットフォーム。UEC (Ultra Ethernet Consortium、AMD/Broadcom/Cisco/Google/HPE/Intel/Meta/Microsoft、2023 結成、UEC 1.0 仕様 2024 公開予定) はオープン IB 代替を目指す。トポロジは fat-tree (Clos) が標準、rail-optimized (各 GPU を専用 ToR レーンへ) は Meta などハイパースケーラ採用、dragonfly+ は Frontier 級 HPC で採用。SmartNIC/DPU は BlueField-3 (400 GbE/NDR IB、Arm、P4 パイプライン)、AMD Pensando Elba、AWS Nitro が代表で、ホスト CPU からストレージ/ネットワーク/セキュリティをオフロードしテナント隔離と性能を両立する。

データセンター物理基盤

電力密度は HPC 5–15 kW/ラックから DGX H100 で約 10 kW/ノード、GB200 NVL72 で約 120 kW/ラックへと約 1 桁上がり、冷却・電源・床荷重設計が刷新を迫られる。冷却は 空冷 (CRAC/CRAH) が約 15 kW/ラックまで、Rear-Door Heat Exchanger (RDHx) が約 30 kW まで延命、Direct Liquid Cooling (DLC) (コールドプレート + ファシリティ水) で 40–100 kW、浸漬冷却 (単相鉱油 / 二相 Novec 系) で 100 kW+ をカバーし、PUE もそれぞれ 1.4–2.0 / ≦1.3 / 1.1–1.2 / 1.03–1.1 と改善する。GB200 NVL72 は DLC 必須、Quantum Mesh KAMUI 等が単相浸漬を商用化。電源は OCP Open Rack v3 が 48 V DC バスバー + ラック内 BBU (Battery Backup Unit) で従来 UPS より効率改善、ハイパースケーラはこれを基準に建屋を最適化。PUE ベンチマークは Google が ESG 報告で trailing 12 ヶ月 ~1.10 を維持、業界平均は Uptime Institute 2023 調査で ~1.58 と差が大きい。AI ラックの設計初期に kW/ラックを見誤ると建屋全体の冷却設計が破綻するため、最大消費電力ベースでヘッドルームを確保する必要がある。

ストレージ階層

学習・推論を支えるストレージは多段。(1) GPU HBM: TB/s 帯域・ns レイテンシ、モデル重み/活性。(2) NVMe SSD: ノード内 6–14 GB/s/枚、チェックポイント着地。(3) 並列 FS: Lustre (HPC 伝統)、IBM Spectrum Scale/GPFS、BeeGFS、WekaIO、VAST Data、Intel DAOS が GPU クラスタの 1st-tier。(4) オブジェクトストレージ: S3/GCS/Azure Blob/MinIO がトレーニングデータの源泉。GPUDirect Storage (GDS) は NVMe → GPU メモリを CPU バウンス無しで DMA する仕組みで、対応 NIC/ドライバ/FS が条件、IO ボトルネックを緩和する。チェックポイント帯域は分散学習 (tech-48) 安定運用の鍵で、Frontier 級 (1 万 GPU+) では 1 TB 級フルチェックポイントを 60 秒以内に書出す必要があり、aggregate 17 GB/s 以上の並列書込が要件 (具体値はモデル依存、未確認)。WekaIO や VAST Data はサブ分チェックポイントを売りに、メタデータと帯域の両方をスケールアウトする。

クラスタソフトウェアスタック

HPC は Slurm が主軸 (sbatch/partition/QOS/GRES で GPU 管理)、AI クラウドネイティブ側は Kubernetes + Volcano (gang scheduling)、Kueue (キュー+借用)、JobSet (マルチジョブ CRD)、商用 Run:ai (GPU クォータ・フェアネス)、Determined AI (HPE)、SkyPilot (クロスクラウド) と幅広い。オーケストレーション選定詳細は tech-66。GPU 仮想化は MIG (A100/H100 最大 7 分割、HW 分離・QoS)、MPS (CUDA context 共有、隔離なし)、Time-Slicing (K8s 時分割、最高密度・隔離なし)、vGPU (NVIDIA GRID、VM 用途) を粒度・分離レベルで使い分ける。監視は DCGM+dcgm-exporter (ECC・温度・電力・NVLink エラー)、Prometheus+Grafana、IB は ibstat/perfquery/UFM。ヘルスチェックは NCCL test (all-reduce/all-gather 帯域)、ECC ダブルビット監視、NVLink/Fabric リンクダウン検知が運用必須。

クラウド・ハイパースケール基盤

AWS: P5 (8× H100、3,200 Gbps EFA)、P5e (H200 系、詳細未確認)、Trn1/Trn2 (Trainium1/2)、Inferentia2、Capacity Blocks for ML (GPU ブロック予約)、UltraClusters (2 万 GPU 級密結合)。GCP: A3 (8× H100、3,200 Gbps GPUDirect RDMA over RoCEv2)、A3 Ultra/A4 (H200/Blackwell、GA 未確認)、TPU v5p (8,960 チップ pod)、Trillium、Hypercompute Cluster (50 Tbps Jupiter)。Azure: ND H100 v5 (8× H100、400 Gbps IB NDR)、ND H200 v5、自社 ASIC Maia 100。Oracle OCI: Supercluster (131,072 GPU zettascale 主張、独立検証なし)。非ハイパースケーラ GPU 雲は CoreWeave (H100/H200 大手)、Lambda Labs (学習)、Crusoe (フレアガス)、Voltage Park、RunPod/Vast.ai (スポット)、Together/Modal/Replicate/fal.ai (API-first サーバレス)。主権 AI クラウドは UAE G42 (MS 提携)、サウジ Humain (発表 2025、確認外)、EuroHPC (LUMI=MI250X、Leonardo=A100) と地政学色を強める。予約モデルはオンデマンド・スポット・1〜3 年予約・Capacity Block (時間粒度) の組合せが主流。

エネルギーと持続可能性

AI 需要は電力構造を歪めるレベルに達した。米国データセンター需要は DOE 報告 (2024) で 2030 年に 35–90 GW (確定値要確認) と見られ、在来発電・送電容量と摩擦を生む。ハイパースケーラは PPA で再エネを長期確保しつつ、24/7 CFE (Carbon-Free Energy、Google/Meta/MS が宣言) で需給を時間粒度マッチング。原子力 SMR/既存炉 の AI 用 PPA が 2024 連発: Microsoft–Constellation (Three Mile Island Unit 1 再稼働、20 年、2024-09)、Amazon–Talen (Susquehanna)、Google–Kairos Power (SMR) で、実行詳細は要確認。水消費は蒸発式冷却塔に依存する従来 DC の隠れコストで、GB200 NVL72 の閉ループ DLC は水使用を相対削減する一方、上流発電で間接消費が残る。カーボン会計は Scope 2 (購入電力) と Scope 3 (サプライチェーン、GPU 製造含む) の双方を顧客が要求し、地域別グリッド係数・market-based vs location-based を併記する企業が増えた。電力・水・カーボンの三軸が立地戦略 (寒冷地・水資源・グリッド清浄度) を再定義しつつある。

2026 フロンティアと落とし穴

フロンティア: (1) GB300 NVL576 はラック規模 576 GPU 単一 NVLink ドメイン (仕様は GTC 2025 周辺、確認外)、(2) AMD MI350/MI400 (CDNA 4、仕様未確認)、(3) UALink 1.0 と UEC 1.0 の正式批准 (2024–25)、(4) Co-packaged Optics (CPO): Lightmatter Passage、Ayar Labs TeraPHY が 800 Gbps+ レーンで pluggable optics の電力/レイテンシを置換、(5) DiLoCo (Google DeepMind、arXiv:2311.08105、Post-local SGD 系) と 1-bit Adam/PowerSGD など low-bandwidth/async 学習が WAN 越え分散学習を実用射程に、(6) 10 万 GPU 級クラスタの運用学 (xAI Colossus はチェックポイント頻度調整が鍵と報告、MTBF は数週間水準と推定)。落とし穴 (anti-patterns): P1 スケールアップ vs スケールアウト混同で IB 帯域を過小投資し all-reduce が律速、P2 NCCL の NCCL_SOCKET_NTHREADS/NCCL_NSOCKS_PERTHREAD/NCCL_IB_GID_INDEX 未チューニングで 10–30% 損失、P3 RoCEv2 で PFC+ECN+DCQCN 未設定の輻輳デッドロック、P4 シングルレールトポロジで GPU が IB HCA を共有しレール帯域半減、P5 プリエンプション時の async checkpoint 未設定で長時間ジョブ全損、P6 GB200 NVL72 を DLC 無しで運用しサーマルスロットル、P7 A100 と H100 を同じ NCCL グループに混在させ最遅 GPU が律速、P8 ECC ダブルビットエラーアラート未設定でサイレントに数値誤差が混入。

未確認事項 (確認時点 2026-05)

情報カットオフ ~2025-08、confidence: medium 固定。以下 13 件は 2026-05 時点で外部検証ができていない項目。(1) B200/GB200 の NVIDIA 公式 TDP データシート確定値、(2) AMD MI325X の HBM3E 256 GB / 6.0 TB/s 公式仕様、(3) AMD MI350/MI400 CDNA 4 ロードマップ仕様、(4) Intel Gaudi 3 HBM 正確容量、(5) Google TPU v6e Trillium 詳細スペック、(6) AWS Trainium2/P5e の GA 時の正式仕様、(7) UALink 1.0 / UEC 1.0 の正式批准日と GA 採用状況、(8) GB300 NVL576 の最終スペック (GTC 2025 周辺で確認カットオフ外の可能性)、(9) Microsoft-OpenAI Stargate (発表 2025-01、$500B/100 GW 規模) の進捗、(10) サウジ Humain・UAE G42 の最新状況、(11) US DOE データセンター電力需要 35–90 GW by 2030 予測の正式レポート番号、(12) xAI Colossus 最終規模 (H200 Phase 2) とチェックポイント MTBF の公開数値、(13) OCI Supercluster 131,072 GPU の独立検証および DiLoCo の本番学習採用事例。