Scaling and Operations（スケーリング則と LLMOps）

LLM 経済性は 訓練時スケーリング則 と 推論時 LLMOps の 2 本柱。前者は損失 $L$ を $N \times D \times C$ のべき乗則で捉え (Kaplan 2020 → Chinchilla 2022)、近年は 推論コスト統合 (Sardana & Frankle 2024) と test-time compute scaling (Snell 2024 / DeepSeek R1) に拡張。後者は SLO 駆動のオートスケール・観測・コスト最適化を KV cache / prefill burst / preemption 等 LLM 固有障害に合わせ再構成する工学。情報カットオフ ~2025-08 のため confidence: medium、最新値は 要確認 (2026-05 時点)。詳細 tech-35 / tech-44 / tech-45 / tech-46 / tech-48 / tech-49。

Kaplan と Chinchilla — 訓練計算の最適配分

Kaplan et al. 2020 (arXiv:2001.08361) は損失が $N$/$D$/$C$ のべき乗則と示し $L(N) \approx (N_c/N)^{\alpha_N}$、$\alpha_N \approx 0.076, \alpha_D \approx 0.095$ (要確認)、結論「固定 compute では $N$ 拡大優先」が GPT-3 175B (arXiv:2005.14165) を支えた。Hoffmann et al. 2022 (arXiv:2203.15556, DeepMind) は isoFLOP で compute-optimal $D \approx 20 N$ と Kaplan を約 2 倍補正、Chinchilla 70B × 1.4T が Gopher 280B × 300B を上回ると実証。フィット $L = E + A/N^\alpha + B/D^\beta$ ($E \approx 1.69, \alpha \approx 0.34, \beta \approx 0.28$ 要確認、Besiroglu 2024 arXiv:2404.10102 再推定) が以降の標準。

Beyond Chinchilla — データ繰返しと推論コスト

Chinchilla は学習コスト最適化のみで現代の経済合理性と乖離。拡張 2 つ: (1) データ繰返し — Muennighoff et al. 2023 (arXiv:2305.16264) は同一トークン最大 4 epochs まで新鮮同等と示し上質コーパス枯渇時に 20:1 を緩和。(2) 推論コスト統合 — Sardana & Frankle 2024 (arXiv:2401.00448) は $\text{Total} = \text{Training} + Q \times \text{Inference}/\text{tok}$ と定式化、$Q$ 大なら 小モデル × 長期訓練 が最適。LLaMA 3 は 8B を 15T tokens で訓練 (Chinchilla 約 100 倍、要確認)、1→2→3 で 1.4T→2T→15T とオーバートレーニング側へ。

創発と Test-Time Compute Scaling

Wei et al. 2022 (arXiv:2206.07682) はスケール閾値で性能が非連続ジャンプする「創発」を報告、Schaeffer et al. 2023 (arXiv:2304.15004) は非線形評価メトリクスのアーティファクトで連続メトリクスでは滑らかと示した。主流は「測定問題」だが特定能力 (CoT 起動・指示追従) に実体的閾値ありとの再評価も継続 (要確認)。Test-time compute scaling は第二軸として確立 — Snell et al. 2024 (arXiv:2408.03314 要確認) は Best-of-N / beam / PRM 誘導 / MCTS を比較し簡単タスクで小モデル + 長思考が大モデル即答に勝つと示した。OpenAI o1 (2024) と DeepSeek R1 (arXiv:2501.12948) が CoT × RL × test-time search で SOTA 更新、運用面で per-request thinking budget API 化と Goodput × test-time compute 二軸スケジューリングが新次元。

SLO / SLI とオートスケーリング

SLO は p99 単独では不足で TTFT / TPOT / E2E / Goodput 階層で定義 (tech-44)。チャット典型: TTFT p50 < 200ms / p99 < 1s、TPOT < 30ms、E2E p99 < 30s、Goodput > 80%。原則: (1) 平均でなくテール (平均は KV OOM テールを隠す)、(2) Cascading SLO で責任境界明確化、(3) Goodput 主指標 (DistServe, arXiv:2401.09670)、(4) 内部目標 = 顧客 SLO の 50-70%。

オートスケールは vLLM + Ray Serve (min_replicas / max_replicas / target_num_ongoing_requests_per_replica 要確認) と KServe + KEDA。最大制約は コールドスタート — 7B で 30-90 秒 (要確認) のため API は scale-to-zero 不適、warm pool (min_replicas ≥ 1) 基本。K8s nvidia.com/gpu は整数のみ (MIG で分数)、NVLink トポロジー無視で TP を組むと AllReduce が一桁劣化、TP=8 はイントラノード厳守 (tech-48)。

マルチテナンシーとキャパシティ計算

KV cache が共有資源 な点が従来サービングと最大の相違。制御点: prefix caching (vLLM RadixAttention / SGLang enable_prefix_caching 要確認) の tenant 分離 / 共有は脅威モデル次第、preemption (recompute vs swap) を SLO クラス別調整し vllm:num_preemptions_total 監視、context length quota per tier で長文独占の “noisy neighbor” 防止、weighted fair queuing (Orca / FastServe) で per-tenant 予算 + DRF 風配分。Prefill burst は Chunked Prefill (Sarathi-Serve, arXiv:2403.02310) で緩和 (tech-45)。

キャパシティ: $\text{GPU} = \text{Weights} + \text{KV} + \text{Activation} + \text{Framework}$。Weights FP16 = $2 N$ bytes (LLaMA 3 70B = 140 GB)、KV per req = $2 \times n_\text{layers} \times n_\text{kv\_heads} \times d_\text{head} \times \text{seq\_len} \times 2$ bytes (70B / 80 層 / GQA 8 / $d_\text{head}=128$ / 32K で 約 85 GB 要確認)。$\text{replicas} = \text{QPS} \times \text{out\_tok} / (\text{single} \times \text{goodput})$。A100 80GB × 2 (TP=2) で 70B 約 3000-5000 tok/sec (要確認)、max_num_seqs は KV 利用率 80% 上限 で残り 20% を burst バッファに。

オブザーバビリティと評価基盤

OTel GenAI Semantic Conventions は 2024-2025 策定中 (要確認 最終仕様)。標準属性: gen_ai.system / gen_ai.request.model / gen_ai.usage.{input,output}_tokens / gen_ai.response.finish_reason / gen_ai.operation.name、span 命名 gen_ai.{system}.{operation}。vLLM Prometheus (要確認): vllm:gpu_cache_usage_perc 最重要 (85% 超でアラート)、vllm:num_preemptions_total は KV 枯渇兆候、vllm:num_requests_{running,waiting} / vllm:{prompt,generation}_tokens_total。評価プラットフォーム (要確認 機能・価格): LangSmith (LangChain ネイティブ)、Langfuse (OSS + SaaS、OTel ネイティブ、セルフホスト可)、Helicone (OpenAI proxy)、Phoenix / Arize (評価 + ドリフト)、W&B Prompts。

コスト最適化とロールアウト

レバー: マルチティアサービング (FrugalGPT, Chen 2023) は安価モデルカスケードで GPT-4 比最大 約 98% 削減 (要確認)、Spot/Preemptible はバッチ / リアルタイムは on-demand + Spot ハイブリッド、Batch API (OpenAI / Anthropic) は 24h 処理で 50% 割引 (要確認)、量子化 (tech-46) は INT8 ≈ 無劣化 / INT4 で 1-3% 劣化と 4× 帯域削減トレード、per-tenant 品質 SLO で Pareto frontier ルーティング (一律 GPT-4 の 1/2〜1/10)。

ロールアウトは web より制約強: ウェイト数十〜数百 GB で切替遅、KV cache がステートフルで切替時無効化、品質 A/B 検出力低 (数千〜数万サンプル必要)。Blue/Green (ダウンタイム 0、2× GPU 一時) / Canary (5-10%、LLM-as-Judge + SLO 監視) / Shadow (応答破棄)。レスポンスヘッダ model_sha 付与でクライアント側ドリフト検出が標準。

安全性・コンプライアンスと固有障害モード

レート制限は RPM + TPM 二重を tenant tier 別予算、コンテンツフィルターは pre/post-filter を Llama Guard / PromptGuard で実装 (+20-100ms 要確認)。EU AI Act Article 53 (GPAI, 2025〜段階施行、要確認) は技術文書 / 著作権ポリシー / モデルカード / インシデント報告義務、systemic risk 閾値 訓練計算 $> 10^{25}$ FLOPs (GPT-4 級超、要確認) で red-teaming 報告 / セキュリティ評価追加。監査ログは prompt hash で GDPR/CCPA リスク回避、systemic risk は 10 年保持 (要確認)。

LLM 固有障害: (1) KV cache OOM テール — 長文独占 → preempt → 崩壊、context quota + 85% アラート。(2) GPU メモリ断片化 — 長期稼働で蓄積、週次〜月次 rolling restart。(3) Prefill burst → decode starving — Chunked Prefill / PD 分離で緩和。(4) スロークライアント backpressure — SSE 溢れで KV 未解放、response_timeout_ms 必須。(5) モデルバージョンドリフト — model_sha ヘッダで固定化。(6) トークナイザミスマッチ — 起動時 hash assertion。(7) Embedding 非互換 — RAG で次元 / 分布変化、デュアル書き込み戦略。

エコシステム (確認時点 2026-05)

推論エンジン詳細は tech-46 と重複のため運用視点のみ: vLLM デファクト (PagedAttention + continuous batch + OpenAI 互換)、SGLang が RAG / エージェント (RadixAttention)、TensorRT-LLM が NVIDIA 最高スループット、lmdeploy APAC 採用多、DeepSpeed-FastGen (arXiv:2401.08671 要確認) が Dynamic SplitFuse、llama.cpp エッジ / CPU。オーケストレーター: Ray Serve (Python-native、vLLM 標準) / KServe (K8s, KEDA) / BentoML / NVIDIA NIM。マネージド (要確認 価格): Bedrock (On-demand vs Provisioned) / Azure AI Foundry (PTU 先払い) / Vertex AI (リージョン間レイテンシ差大)。

アンチパターン

(1) 平均レイテンシ最適化 → p99 SLO 破綻: Goodput + p95/p99 主指標。(2) ステートレス HTTP 扱い: KV はレプリカローカル、session affinity / PD 分離で整合。(3) 静的バッチサイジング: long context で KV OOM、token-level dynamic batching + context quota。(4) scale-to-zero: 30-90 秒コールドスタート、warm pool 必須。(5) 異種リクエスト単一ティア: short/medium/long 三ティア + ルーター。(6) 品質メトリクスなし A/B: 劣化が離脱で初めて顕在化、LLM-as-Judge / 人間評価を組込。

未確認事項と注意点

情報カットオフ ~2025-08 のため、以下は 2026-05 時点で要確認: Chinchilla 係数 + Besiroglu 2024、Sardana & Frankle 係数、LLaMA 3 15T、Snell 2024 詳細、vLLM 最新 API / Prometheus 命名、OTel GenAI Conventions 最終仕様、EU AI Act Article 53 施行日 + $10^{25}$ FLOPs 閾値、LangSmith / Langfuse / Helicone / Phoenix 機能・価格、FrugalGPT 98% 実験条件、DeepSpeed-FastGen 論文 ID、Bedrock / Azure / Vertex AI PTU 価格、Batch API 50% 仕様、Llama Guard / PromptGuard レイテンシ実測、Sarathi-Serve 数式詳細。

See also

• tech-35 Transformer — スケーリング対象アーキテクチャ
• tech-43 推論バッチング / tech-44 推論性能指標 / tech-45 推論フェーズ / tech-46 推論高速化
• tech-48 分散学習 / tech-49 学習パラダイム / tech-50 学習ハイパーパラメータ / tech-51 学習最適化