Datacenter Physical Infrastructure

article technology medium #datacenter#power-chain#cooling#liquid-cooling#pue#uptime-tier#dcim#ocp#ai-datacenter#sustainability
Created: 2026-05-30 Updated:

データセンター物理インフラの地図層。電力チェーン・冷却 (空冷/液冷)・効率指標 (PUE/WUE)・信頼性分類 (Uptime Tier)・物理層・運用 (DCIM)・標準・AI DC シフトを俯瞰し、計算/網/蓄積は上位層へ委譲。

Datacenter Physical Infrastructure

データセンター物理インフラは、計算・ネットワーク・ストレージを載せる ファシリティ/サイト層 を指し、電力チェーン(ユーティリティ受電から PSU まで)、冷却(空冷から液冷まで)、効率・サステナビリティ指標(PUE 等)、信頼性分類(Uptime Tier)、物理層・空間(ラック規格・床・配線)、運用管理(DCIM)、標準規格、そして AI/HPC による高密度化シフトで構成される。本記事はこれらを束ねる 地図層(オーケストレーション層) であり、サーバ・GPU・スイッチ・並列FS など上位層の内部実装は専門記事へ委譲する。confidence: medium は情報カットオフ ~2025-08 で固定(2026-05 時点での外部再検証は未実施)。確定値・前向き事項には [要確認] を付す。

定義とスコープ

「物理インフラ」は AZ(アベイラビリティゾーン)を構成する一つ以上の実データセンター建屋(データホール)を指し、上位層へ電力・冷却・空間・接続を提供するが、その内部実装は担当しない。クラウドの リージョン/AZ/Local Zone はこの物理層を抽象化したもので、AZ 間は通常数 km〜数十 km 離れ光ファイバで相互接続される。

担当領域(本層)委譲先(上位層)
電源設備・冷却・空間・冗長性・構内配線・統合管理
サーバ・GPU・アクセラレータtech-71 分散コンピュート基盤
InfiniBand / RoCE / Ethernettech-82 ML ネットワーク・インターコネクト
並列FS・NVMe・オブジェクトストレージtech-75 ML ストレージ基盤
Kubernetes / Slurm スケジューリングtech-80 ML クラスタオーケストレーション
リージョン/AZ 抽象tech-74 クラウド ML プラットフォーム

ファシリティ種別はハイパースケール(自社運用・数万〜数十万 ㎡)、コロケーション(顧客がラック/ケージを賃借)、エンタープライズ(自社)、エッジ/マイクロ(低レイテンシ)、モジュール/プレハブ(工場製造・高速展開)、AI Factory(GW 級・GPU 専用)に大別される。

電力チェーン

電力はユーティリティ送電網からサーバ内 PSU まで、降圧・無瞬断化・分配の段を経て届く。経路は概ね「高圧受電(HV 110–500 kV)→ 変電・降圧サブステーション → 中圧配電(MV 6–35 kV)→ 変圧器 → 低圧 AC(400/480 V)→ UPS → スイッチギア/配電盤(MDB)→ PDU/busway/RPP → ラック PDU → PSU」。

UPS と冗長トポロジが信頼性の中核を成す。

区分主な選択肢特徴
UPS 方式Static(ダブルコンバージョン)最普及。AC→DC→AC でクリーン電力、効率 93–97%
UPS 方式Rotary / Flywheel(DRUPS)慣性エネルギー蓄積、バッテリー不要寄り、保守性高
蓄電Li-ion軽量・長サイクル寿命(~5–10 年)、コスト高
蓄電VRLA(制御弁式鉛蓄電池)安価・重い・定期交換
冗長N / N+1冗長なし / コンポーネント 1 台余剰
冗長2N / 2N+1完全二重化 / 二重化+余剰
冗長分散冗長 / ブロック冗長複数電源パス / モジュール単位冗長

電力密度は一般 IT で 5–15 kW/ラック、高密度 AI では 40–130+ kW/ラックに達する [要確認: ラック確定 TDP]。配電効率トレンドとして OCP Open Rack v3 の 48 V DC バスバー(AC 変換損失削減・ラック内 BBU)と、ラック内/DC 間への HVDC(±400 V 等) がある [要確認: HVDC 商用展開度]。契約電力のうち使えない容量(stranded power)の削減も運用課題。

冷却

冷却は熱密度に応じて空冷から液冷へとスペクトルを成す。空気混合を防ぐ封じ込めと、外気・水を活かすエコノマイザが効率の鍵。

段階代表方式冷却密度の目安
空冷CRAC(冷媒直膨)/ CRAH(冷水コイル)~15 kW/ラックが実用上限
空冷補助ホット/コールドアイル封じ込め・In-RowPUE を 0.1–0.3 改善
空冷⇄液冷の橋渡しRDHx(リアドア型熱交換器)20–30 kW/ラック
液冷コールドプレート 単相/二相(DLC)40–100+ kW/ラック
液冷単相/二相 浸漬冷却100+ kW/ラック
中間機器CDU(冷媒分配ユニット)施設水ループと液冷ループを接続

エコノマイザには外気冷却(ASE)、水側エコノマイザ(WSE)、乾式/気化式前冷却があり、低温・乾燥地域で PUE を改善する。環境クラスは ASHRAE TC 9.9 が定義し、A1(25 °C)〜A4(45 °C)の空冷クラスと W1–W5 の液冷クラスがある。典型設計は A2(推奨入口 18–21 °C)。AI ラックが液冷を強制する理由は明快で、従来空冷の上限(~15 kW)に対し GB200 NVL72 級は ~120 kW/ラック [要確認: 最終公式 TDP] に達し、コールドプレート式 DLC が前提要件となるため。

効率・サステナビリティ指標

効率は PUE(Power Usage Effectiveness)= 全施設消費電力 ÷ IT 機器消費電力 を中心に語られる。PUE は The Green Grid(2007 年提唱)の業界標準で、ISO/IEC 30134-2 として国際標準化済み。理論上限は 1.0、業界平均はおよそ 1.55–1.60 [要確認: 最新業界平均]、ベストインクラスは外気冷却+液冷の組合せで 1.03–1.10 に接近する [要確認: 各社最新公開値]

指標定義補足
PUE全施設電力 ÷ IT 機器電力主要指標、ISO/IEC 30134-2
WUE年間消費水量(L) ÷ IT 電力(kWh)水なし冷却で 0
CUECO₂ 総排出量(kg) ÷ IT 電力(kWh)グリッド依存、再エネ PPA で低減
ERE / ERF廃熱再利用を差し引いた指標北欧の地域暖房再利用 DC で優秀
DCiE1 / PUE ×100%PUE の逆数表現

サステナビリティ施策として、廃熱再利用(地域暖房・温室・養殖、主に北欧・欧州)と、発電と消費の時間的・地理的一致を求める 24/7 CFE(Carbon-Free Energy) がある。後者は年間一致の RE100 より厳格な概念。

信頼性分類

信頼性は Uptime Institute Tier I–IV が代表的で、これは認定制度である点が重要。「自称 Tier X」は認定を意味せず、マーケティングでの誤用が多発している。

Tier名称冗長性年間許容停止可用性
IBasic Site InfrastructureN28.8 時間99.671%
IIRedundant Site InfrastructureN+122.0 時間99.749%
IIIConcurrently MaintainableN+1〜2N、同時保守可1.6 時間99.982%
IVFault Tolerant2N+1、単一障害で無停止0.4 時間99.995%

要点は「Concurrently Maintainable(III)= 保守中も停止しない」「Fault Tolerant(IV)= 障害発生時も無停止」の区別。並行して、米国 TIA-942(Rating 1–4、配線インフラに詳細規定)、欧州 EN 50600 と国際 ISO/IEC 22237(可用性クラス 1–4)が独立した評価体系として存在する [要確認: ISO/IEC 22237 最新版整合]

物理層・空間

ラック規格は 19 インチ EIA-310(幅 482.6 mm、1U = 44.45 mm、空冷で最大 ~20 kW)が伝統的標準。AI 高密度向けには OCP Open Rack v2/v3(21 インチ、533.4 mm) が 48 V DC バスバーと BBU を内蔵し、ORv3 は液冷オプションにも対応する [要確認: ORv3 最終仕様詳細]

床構造は床下給気・配線の 二重床(フリーアクセスフロア) と、高荷重・液冷に適した スラブ床 に分かれ、モダンな高密度設計はスラブへ移行しつつある。標準床荷重は 7.2–12 kN/m² 程度で、GPU サーバは 1 ラック 1–2 t に達するため液冷タンク・大型 UPS では追加荷重・耐震対策(日本は建基法、米国は ASCE 7 / TIA-942)が必要。

構内配線は短距離・低コストの MMF(OM3/OM4/OM5)、長距離・サイト間の SMF(OS2)、高密度一括接続の MPO コネクタ、ToR↔サーバ短距離の DAC/AOC で構成される。空間は IT 機器を置く ホワイトスペース と、UPS・PDU・CRAH 等の設備が占める グレースペース に区分される。

運用・管理

運用は IT 資産とファシリティ設備を統合管理する DCIM(Data Center Infrastructure Management) を中核とする。主要機能は資産管理(ラック位置・構成・ライフサイクル)、容量管理(電力・冷却・床面積の空き可視化)、変更管理(IMAC ワークフロー)、環境監視(温度・湿度・漏水)、エネルギー監視(PUE リアルタイム計算)。主要ベンダーに Vertiv・Schneider Electric(EcoStruxure)・Nlyte・Sunbird 等。

DCIM と連携・補完する制御系として、建物設備を司る BMS(Building Management System)、電源設備を司る EPMS(Electrical Power Management System)、上位エネルギー最適化の EMS がある。液冷展開時はゾーン型ロープセンサ・ポイントセンサ・給排水の流量差分監視による 漏水検知 が必須インフラ要件となる。Tier III 以上が求める 同時保守性(Concurrent Maintainability) は、二重化経路(dual-path power / dual cooling path)により IT を止めず保守できることを担保する。

標準と策定団体

物理インフラの設計・運用・指標は複数の標準団体が分担して定義しており、Tier 認定・配線・熱環境・ラック・KPI でそれぞれ参照先が異なる。

機関主要成果物
Uptime InstituteTier I–IV 認定制度、Global Data Center Survey(年次)
TIATIA-942(Data Center Standard, Rating 1–4)
ASHRAE TC 9.9熱環境ガイドライン(A1–A4 / W1–W5)
OCP(Open Compute Project, 2011 設立)Open Rack v2/v3、OCP 液冷標準
The Green Grid(2007 設立)PUE・WUE・CUE・DCiE の定義と普及(PUE 起源)
EN 50600データセンター設備・インフラ欧州標準
ISO/IEC 22237EN 50600 の国際版(JTC1/SC39)
ISO/IEC 30134データセンター KPI 標準(PUE/WUE/ERE/CUE 等)
EIAEIA-310(19 インチラック規格)

PUE 等の指標は The Green Grid が提唱し ISO/IEC 30134 系で国際標準化、ラック物理寸法は EIA-310 と OCP が二極、熱環境は ASHRAE が単独の参照点という整理になる。

AI/HPC データセンタのシフト

AI/HPC は物理インフラの前提を作り替えつつあり、本セクションは急速に変化するため [要確認] 項目が多い。最大の変化はラック電力密度の急上昇で、従来 IT の 5–15 kW から AI Factory 世代では桁が一つ上がる。

世代代表機器ラック電力
従来 IT(〜2020)一般サーバ5–15 kW
GPU 黎明期(2020–22)DGX A10013–26 kW
AI 加速(2023–24)DGX H10040–60 kW
AI Factory(2024–25+)GB200 NVL72 級~120 kW(DLC 必須)[要確認: 確定 TDP]

この密度では空冷が物理的に成立せず、新規 AI DC の大多数がコールドプレート液冷を採用し、100 kW+ や特殊環境で浸漬冷却が拡大している [要確認: 液冷採用率の市場数値]。電力供給側では 48 V DC バスバー・ラック内 BBU の高効率配電に加え、HVDC(240 V / ±400 V)の実証が進む [要確認: HVDC 商用展開]。さらに送電網接続キューの逼迫から、暫定電源のガスタービン・コージェネ、変電所や専用送電線を自前で持つ behind-the-meter 発電、原子力 PPA / SMR 調達 [要確認: 原子力 PPA 運用開始時期]、そして単独変電所を伴う GW 級 AI factory キャンパス [要確認: 大型キャンパス進捗] が標準になりつつある。閉ループ DLC は冷却塔型に比べ水使用量を大幅に削減する一方、電力消費増は火力依存地域で間接的な水消費を増やすトレードオフを伴う。

委譲ノート

本記事は 地図層(オーケストレーション層) であり、ファシリティ/サイト層の構成要素(電力・冷却・効率指標・信頼性・物理層・運用・標準・AI シフト)を俯瞰する範囲に限定する。上位層の内部詳細は以下の隣接記事へ委譲する。

  • 計算(サーバ・GPU・アクセラレータ): tech-71 分散コンピュート基盤
  • ネットワーク(InfiniBand / RoCE / Ethernet): tech-82 ML ネットワーク・インターコネクト
  • ストレージ(並列FS・NVMe・オブジェクト): tech-75 ML ストレージ基盤
  • オーケストレーション(Kubernetes / Slurm): tech-80 ML クラスタオーケストレーション
  • クラウド抽象(リージョン/AZ): tech-74 クラウド ML プラットフォーム

個別の UPS 内部回路、レンダリング級熱流体解析、特定ベンダー DCIM の運用詳細、Tier 認定の審査プロセス、各 HVDC アーキテクチャの電気設計は、いずれも将来の専門記事へ委譲する。

Local graph