Datacenter Physical Infrastructure
データセンター物理インフラの地図層。電力チェーン・冷却 (空冷/液冷)・効率指標 (PUE/WUE)・信頼性分類 (Uptime Tier)・物理層・運用 (DCIM)・標準・AI DC シフトを俯瞰し、計算/網/蓄積は上位層へ委譲。
article technology ja データセンター物理インフラの地図層。電力チェーン・冷却 (空冷/液冷)・効率指標 (PUE/WUE)・信頼性分類 (Uptime Tier)・物理層・運用 (DCIM)・標準・AI DC シフトを俯瞰し、計算/網/蓄積は上位層へ委譲。Datacenter Physical Infrastructure
データセンター物理インフラは、計算・ネットワーク・ストレージを載せる ファシリティ/サイト層 を指し、電力チェーン(ユーティリティ受電から PSU まで)、冷却(空冷から液冷まで)、効率・サステナビリティ指標(PUE 等)、信頼性分類(Uptime Tier)、物理層・空間(ラック規格・床・配線)、運用管理(DCIM)、標準規格、そして AI/HPC による高密度化シフトで構成される。本記事はこれらを束ねる 地図層(オーケストレーション層) であり、サーバ・GPU・スイッチ・並列FS など上位層の内部実装は専門記事へ委譲する。confidence: medium は情報カットオフ ~2025-08 で固定(2026-05 時点での外部再検証は未実施)。確定値・前向き事項には [要確認] を付す。
定義とスコープ
「物理インフラ」は AZ(アベイラビリティゾーン)を構成する一つ以上の実データセンター建屋(データホール)を指し、上位層へ電力・冷却・空間・接続を提供するが、その内部実装は担当しない。クラウドの リージョン/AZ/Local Zone はこの物理層を抽象化したもので、AZ 間は通常数 km〜数十 km 離れ光ファイバで相互接続される。
| 担当領域(本層) | 委譲先(上位層) |
|---|---|
| 電源設備・冷却・空間・冗長性・構内配線・統合管理 | — |
| サーバ・GPU・アクセラレータ | tech-71 分散コンピュート基盤 |
| InfiniBand / RoCE / Ethernet | tech-82 ML ネットワーク・インターコネクト |
| 並列FS・NVMe・オブジェクトストレージ | tech-75 ML ストレージ基盤 |
| Kubernetes / Slurm スケジューリング | tech-80 ML クラスタオーケストレーション |
| リージョン/AZ 抽象 | tech-74 クラウド ML プラットフォーム |
ファシリティ種別はハイパースケール(自社運用・数万〜数十万 ㎡)、コロケーション(顧客がラック/ケージを賃借)、エンタープライズ(自社)、エッジ/マイクロ(低レイテンシ)、モジュール/プレハブ(工場製造・高速展開)、AI Factory(GW 級・GPU 専用)に大別される。
電力チェーン
電力はユーティリティ送電網からサーバ内 PSU まで、降圧・無瞬断化・分配の段を経て届く。経路は概ね「高圧受電(HV 110–500 kV)→ 変電・降圧サブステーション → 中圧配電(MV 6–35 kV)→ 変圧器 → 低圧 AC(400/480 V)→ UPS → スイッチギア/配電盤(MDB)→ PDU/busway/RPP → ラック PDU → PSU」。
UPS と冗長トポロジが信頼性の中核を成す。
| 区分 | 主な選択肢 | 特徴 |
|---|---|---|
| UPS 方式 | Static(ダブルコンバージョン) | 最普及。AC→DC→AC でクリーン電力、効率 93–97% |
| UPS 方式 | Rotary / Flywheel(DRUPS) | 慣性エネルギー蓄積、バッテリー不要寄り、保守性高 |
| 蓄電 | Li-ion | 軽量・長サイクル寿命(~5–10 年)、コスト高 |
| 蓄電 | VRLA(制御弁式鉛蓄電池) | 安価・重い・定期交換 |
| 冗長 | N / N+1 | 冗長なし / コンポーネント 1 台余剰 |
| 冗長 | 2N / 2N+1 | 完全二重化 / 二重化+余剰 |
| 冗長 | 分散冗長 / ブロック冗長 | 複数電源パス / モジュール単位冗長 |
電力密度は一般 IT で 5–15 kW/ラック、高密度 AI では 40–130+ kW/ラックに達する [要確認: ラック確定 TDP]。配電効率トレンドとして OCP Open Rack v3 の 48 V DC バスバー(AC 変換損失削減・ラック内 BBU)と、ラック内/DC 間への HVDC(±400 V 等) がある [要確認: HVDC 商用展開度]。契約電力のうち使えない容量(stranded power)の削減も運用課題。
冷却
冷却は熱密度に応じて空冷から液冷へとスペクトルを成す。空気混合を防ぐ封じ込めと、外気・水を活かすエコノマイザが効率の鍵。
| 段階 | 代表方式 | 冷却密度の目安 |
|---|---|---|
| 空冷 | CRAC(冷媒直膨)/ CRAH(冷水コイル) | ~15 kW/ラックが実用上限 |
| 空冷補助 | ホット/コールドアイル封じ込め・In-Row | PUE を 0.1–0.3 改善 |
| 空冷⇄液冷の橋渡し | RDHx(リアドア型熱交換器) | 20–30 kW/ラック |
| 液冷 | コールドプレート 単相/二相(DLC) | 40–100+ kW/ラック |
| 液冷 | 単相/二相 浸漬冷却 | 100+ kW/ラック |
| 中間機器 | CDU(冷媒分配ユニット) | 施設水ループと液冷ループを接続 |
エコノマイザには外気冷却(ASE)、水側エコノマイザ(WSE)、乾式/気化式前冷却があり、低温・乾燥地域で PUE を改善する。環境クラスは ASHRAE TC 9.9 が定義し、A1(25 °C)〜A4(45 °C)の空冷クラスと W1–W5 の液冷クラスがある。典型設計は A2(推奨入口 18–21 °C)。AI ラックが液冷を強制する理由は明快で、従来空冷の上限(~15 kW)に対し GB200 NVL72 級は ~120 kW/ラック [要確認: 最終公式 TDP] に達し、コールドプレート式 DLC が前提要件となるため。
効率・サステナビリティ指標
効率は PUE(Power Usage Effectiveness)= 全施設消費電力 ÷ IT 機器消費電力 を中心に語られる。PUE は The Green Grid(2007 年提唱)の業界標準で、ISO/IEC 30134-2 として国際標準化済み。理論上限は 1.0、業界平均はおよそ 1.55–1.60 [要確認: 最新業界平均]、ベストインクラスは外気冷却+液冷の組合せで 1.03–1.10 に接近する [要確認: 各社最新公開値]。
| 指標 | 定義 | 補足 |
|---|---|---|
| PUE | 全施設電力 ÷ IT 機器電力 | 主要指標、ISO/IEC 30134-2 |
| WUE | 年間消費水量(L) ÷ IT 電力(kWh) | 水なし冷却で 0 |
| CUE | CO₂ 総排出量(kg) ÷ IT 電力(kWh) | グリッド依存、再エネ PPA で低減 |
| ERE / ERF | 廃熱再利用を差し引いた指標 | 北欧の地域暖房再利用 DC で優秀 |
| DCiE | 1 / PUE ×100% | PUE の逆数表現 |
サステナビリティ施策として、廃熱再利用(地域暖房・温室・養殖、主に北欧・欧州)と、発電と消費の時間的・地理的一致を求める 24/7 CFE(Carbon-Free Energy) がある。後者は年間一致の RE100 より厳格な概念。
信頼性分類
信頼性は Uptime Institute Tier I–IV が代表的で、これは認定制度である点が重要。「自称 Tier X」は認定を意味せず、マーケティングでの誤用が多発している。
| Tier | 名称 | 冗長性 | 年間許容停止 | 可用性 |
|---|---|---|---|---|
| I | Basic Site Infrastructure | N | 28.8 時間 | 99.671% |
| II | Redundant Site Infrastructure | N+1 | 22.0 時間 | 99.749% |
| III | Concurrently Maintainable | N+1〜2N、同時保守可 | 1.6 時間 | 99.982% |
| IV | Fault Tolerant | 2N+1、単一障害で無停止 | 0.4 時間 | 99.995% |
要点は「Concurrently Maintainable(III)= 保守中も停止しない」「Fault Tolerant(IV)= 障害発生時も無停止」の区別。並行して、米国 TIA-942(Rating 1–4、配線インフラに詳細規定)、欧州 EN 50600 と国際 ISO/IEC 22237(可用性クラス 1–4)が独立した評価体系として存在する [要確認: ISO/IEC 22237 最新版整合]。
物理層・空間
ラック規格は 19 インチ EIA-310(幅 482.6 mm、1U = 44.45 mm、空冷で最大 ~20 kW)が伝統的標準。AI 高密度向けには OCP Open Rack v2/v3(21 インチ、533.4 mm) が 48 V DC バスバーと BBU を内蔵し、ORv3 は液冷オプションにも対応する [要確認: ORv3 最終仕様詳細]。
床構造は床下給気・配線の 二重床(フリーアクセスフロア) と、高荷重・液冷に適した スラブ床 に分かれ、モダンな高密度設計はスラブへ移行しつつある。標準床荷重は 7.2–12 kN/m² 程度で、GPU サーバは 1 ラック 1–2 t に達するため液冷タンク・大型 UPS では追加荷重・耐震対策(日本は建基法、米国は ASCE 7 / TIA-942)が必要。
構内配線は短距離・低コストの MMF(OM3/OM4/OM5)、長距離・サイト間の SMF(OS2)、高密度一括接続の MPO コネクタ、ToR↔サーバ短距離の DAC/AOC で構成される。空間は IT 機器を置く ホワイトスペース と、UPS・PDU・CRAH 等の設備が占める グレースペース に区分される。
運用・管理
運用は IT 資産とファシリティ設備を統合管理する DCIM(Data Center Infrastructure Management) を中核とする。主要機能は資産管理(ラック位置・構成・ライフサイクル)、容量管理(電力・冷却・床面積の空き可視化)、変更管理(IMAC ワークフロー)、環境監視(温度・湿度・漏水)、エネルギー監視(PUE リアルタイム計算)。主要ベンダーに Vertiv・Schneider Electric(EcoStruxure)・Nlyte・Sunbird 等。
DCIM と連携・補完する制御系として、建物設備を司る BMS(Building Management System)、電源設備を司る EPMS(Electrical Power Management System)、上位エネルギー最適化の EMS がある。液冷展開時はゾーン型ロープセンサ・ポイントセンサ・給排水の流量差分監視による 漏水検知 が必須インフラ要件となる。Tier III 以上が求める 同時保守性(Concurrent Maintainability) は、二重化経路(dual-path power / dual cooling path)により IT を止めず保守できることを担保する。
標準と策定団体
物理インフラの設計・運用・指標は複数の標準団体が分担して定義しており、Tier 認定・配線・熱環境・ラック・KPI でそれぞれ参照先が異なる。
| 機関 | 主要成果物 |
|---|---|
| Uptime Institute | Tier I–IV 認定制度、Global Data Center Survey(年次) |
| TIA | TIA-942(Data Center Standard, Rating 1–4) |
| ASHRAE TC 9.9 | 熱環境ガイドライン(A1–A4 / W1–W5) |
| OCP(Open Compute Project, 2011 設立) | Open Rack v2/v3、OCP 液冷標準 |
| The Green Grid(2007 設立) | PUE・WUE・CUE・DCiE の定義と普及(PUE 起源) |
| EN 50600 | データセンター設備・インフラ欧州標準 |
| ISO/IEC 22237 | EN 50600 の国際版(JTC1/SC39) |
| ISO/IEC 30134 | データセンター KPI 標準(PUE/WUE/ERE/CUE 等) |
| EIA | EIA-310(19 インチラック規格) |
PUE 等の指標は The Green Grid が提唱し ISO/IEC 30134 系で国際標準化、ラック物理寸法は EIA-310 と OCP が二極、熱環境は ASHRAE が単独の参照点という整理になる。
AI/HPC データセンタのシフト
AI/HPC は物理インフラの前提を作り替えつつあり、本セクションは急速に変化するため [要確認] 項目が多い。最大の変化はラック電力密度の急上昇で、従来 IT の 5–15 kW から AI Factory 世代では桁が一つ上がる。
| 世代 | 代表機器 | ラック電力 |
|---|---|---|
| 従来 IT(〜2020) | 一般サーバ | 5–15 kW |
| GPU 黎明期(2020–22) | DGX A100 | 13–26 kW |
| AI 加速(2023–24) | DGX H100 | 40–60 kW |
| AI Factory(2024–25+) | GB200 NVL72 級 | ~120 kW(DLC 必須)[要確認: 確定 TDP] |
この密度では空冷が物理的に成立せず、新規 AI DC の大多数がコールドプレート液冷を採用し、100 kW+ や特殊環境で浸漬冷却が拡大している [要確認: 液冷採用率の市場数値]。電力供給側では 48 V DC バスバー・ラック内 BBU の高効率配電に加え、HVDC(240 V / ±400 V)の実証が進む [要確認: HVDC 商用展開]。さらに送電網接続キューの逼迫から、暫定電源のガスタービン・コージェネ、変電所や専用送電線を自前で持つ behind-the-meter 発電、原子力 PPA / SMR 調達 [要確認: 原子力 PPA 運用開始時期]、そして単独変電所を伴う GW 級 AI factory キャンパス [要確認: 大型キャンパス進捗] が標準になりつつある。閉ループ DLC は冷却塔型に比べ水使用量を大幅に削減する一方、電力消費増は火力依存地域で間接的な水消費を増やすトレードオフを伴う。
委譲ノート
本記事は 地図層(オーケストレーション層) であり、ファシリティ/サイト層の構成要素(電力・冷却・効率指標・信頼性・物理層・運用・標準・AI シフト)を俯瞰する範囲に限定する。上位層の内部詳細は以下の隣接記事へ委譲する。
- 計算(サーバ・GPU・アクセラレータ): tech-71 分散コンピュート基盤
- ネットワーク(InfiniBand / RoCE / Ethernet): tech-82 ML ネットワーク・インターコネクト
- ストレージ(並列FS・NVMe・オブジェクト): tech-75 ML ストレージ基盤
- オーケストレーション(Kubernetes / Slurm): tech-80 ML クラスタオーケストレーション
- クラウド抽象(リージョン/AZ): tech-74 クラウド ML プラットフォーム
個別の UPS 内部回路、レンダリング級熱流体解析、特定ベンダー DCIM の運用詳細、Tier 認定の審査プロセス、各 HVDC アーキテクチャの電気設計は、いずれも将来の専門記事へ委譲する。