Reinforcement Learning（強化学習）

強化学習 (RL) は 環境と相互作用し累積報酬を最大化する方策を獲得する 枠組み (Sutton & Barto 2018)。価値ベース (DQN/Rainbow) と 方策勾配 (PPO/SAC) が model-free 双璧、モデルベース (MuZero/Dreamer) と オフライン RL (CQL/DT) が補う。2022 以降は LLM 整列 (RLHF→DPO→RLVR/GRPO) と推論モデル (DeepSeek-R1, o1/o3) で第二の黄金期だが、報酬ハッキング・分布シフト・sim-to-real は未解決。LLM 詳細は tech-49。confidence: medium は訓練データ (~2025-08) 依存。

MDP 定式化

MDP $\mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma)$。累積報酬 $G_t = \sum_{k} \gamma^k r_{t+k+1}$ を $\pi(a|s)$ で最大化。価値 $V^\pi$, Q $Q^\pi$, 優位 $A^\pi = Q^\pi - V^\pi$。ベルマン最適方程式 $Q^*(s,a) = \sum_{s'} P[R + \gamma \max_{a'} Q^*(s',a')]$。設計軸: オンポリシー (PPO) vs オフポリシー (DQN/SAC)、モデルフリー vs モデルベース。教科書 Sutton & Barto (2018)。

価値ベース手法

Q-learning (Watkins 1989) は off-policy TD: $Q \leftarrow Q + \alpha[r + \gamma \max_{a'} Q(s',a') - Q]$。SARSA は on-policy。DQN (arXiv:1312.5602 / Nature 518) は Experience Replay + Target Network で Atari 49 超人。Double DQN (arXiv:1509.06461) は $\max$ 過大評価を解消。Dueling DQN (arXiv:1511.06581) は $Q = V + (A - \text{mean}\,A)$。PER (arXiv:1511.05952) は $|\delta|$ 比例サンプリング。Rainbow (arXiv:1710.02298) は Double/PER/Dueling/multi-step/C51 (arXiv:1707.06887)/Noisy Net (arXiv:1706.10295) の 6 統合、Atari 57 で圧倒。

方策勾配法

方策勾配定理 (Sutton 1999) $\nabla_\theta J = \mathbb{E}[\nabla_\theta \log \pi_\theta Q^{\pi_\theta}]$。REINFORCE (Williams 1992) は MC + baseline 減算で分散低減。Actor-Critic は critic で TD bootstrap。A3C/A2C (arXiv:1602.01783) は並列ワーカで replay 不要、entropy bonus で探索促進。TRPO (arXiv:1502.05477) は KL trust region で単調改善保証。PPO (arXiv:1707.06347) は clip surrogate:

$\mathcal{L}^{CLIP}(\theta) = \mathbb{E}_t[\min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t)]$

$r_t = \pi_\theta / \pi_{\theta_\text{old}}$、$\epsilon=0.2$ 典型。単純・安定で InstructGPT/Llama-2-Chat/Tulu/Gemma の RLHF 標準。連続行動は DDPG (arXiv:1509.02971) → TD3 (arXiv:1802.09477) → SAC (arXiv:1801.01290)。SAC は 最大エントロピー RL で温度 $\alpha$ 自動調整 (arXiv:1812.05905)、MuJoCo SOTA。

探索戦略

ε-greedy、Boltzmann、UCB。ICM (arXiv:1705.05363) は forward model 予測誤差を内発報酬化、inverse model が noisy-TV を緩和。RND (arXiv:1810.12894) はランダム NN 出力予測誤差で ICM より単純、Montezuma で実績。Go-Explore (arXiv:2004.12919) は archive 復帰探索で初の超人 Montezuma。Entropy 正則化 は A3C・SAC・RLHF (KL-to-reference として) に共通。

モデルベース RL

Dyna-Q (Sutton 1991) は実遷移 + モデル想像遷移で Q 再更新、世界モデル祖型。AlphaGo (Nature 529) は SL + 自己対戦 RL + MCTS で Lee Sedol 撃破。AlphaZero (Science 362) は純自己対戦で Go/Chess/Shogi 制覇。MuZero (arXiv:1911.08265, Nature 588) はルール不知で潜在モデル 3 関数 ($h$/$g$/$f$) を end-to-end 訓練、MCTS を潜在空間で実行。Dreamer V1/V2/V3 (arXiv:1912.01603 / 2010.02193 / 2301.04104) は RSSM 世界モデル上で actor-critic — V3 は単一 hyperparameter で横断、デモなしダイヤ採掘を初実現。MBPO (arXiv:1906.08253) は短想像ロールアウトを SAC と混合、MuJoCo で 5-40× sample-efficient。

マルチエージェント RL

$n$ エージェント共有環境で他者方策変化により 非定常性 が標準 RL 仮定を破る。MADDPG (arXiv:1706.02275) は CTDE で訓練時非定常性を解消。AlphaGo Zero (Nature 550) は純自己対戦 40 日で AlphaGo 超え。OpenAI Five (2019) は PPO で 1 日 180 年分 self-play、Dota 2 王者撃破。AlphaStar (Nature 575) は SC2 で リーグ訓練 (main + exploiters) で戦略崩壊を防ぎ Grandmaster 達成。

逆強化学習・模倣学習

BC は SL 化、分布シフト で誤差 $\mathcal{O}(\epsilon T^2)$ に累積 (Ross & Bagnell 2010)。DAgger (Ross 2011) は反復収集 + 専門家クエリで $\mathcal{O}(\epsilon T)$。逆 RL (Ng & Russell 2000) は $R^*$ を逆算、MaxEnt IRL (Ziebart 2008) で正則化。GAIL (arXiv:1606.03476) は占有測度マッチングを GAN 化、reward $= \log D$ を TRPO で最適化。RLHF の RM 訓練は本質的に IRL。

オフライン RL

固定データセット $\mathcal{D}$ のみで方策学習 — 医療・自動運転必須。中核問題は 分布シフト: $\max_{a'} Q(s',a')$ が OOD 行動を query → Q 値爆発。CQL (arXiv:2006.04779) は OOD Q にペナルティで D4RL SOTA。IQL (arXiv:2110.06169) は expectile 回帰 で OOD クエリ回避。Decision Transformer (arXiv:2106.01345) は RL を シーケンスモデリング に再定式化: $(R_1,s_1,a_1,\ldots)$ ($R_t$=return-to-go) を GPT-style 因果 Transformer で予測、推論時は高 $R$ で条件付け、Bellman backup 不要。Trajectory Transformer (Janner 2021)、Gato (arXiv:2205.06175) は 600+ タスク汎用エージェント。

LLM への RL 応用 (概要)

LLM-RL は 有限ホライゾン RL 特殊例 — 報酬は EOS のみ。実務上 バンディット近似 が標準で PPO は REINFORCE に縮退。Christiano 2017 (arXiv:1706.03741) → InstructGPT (arXiv:2203.02155) で RM + PPO + KL ペナルティ $r = R_\phi - \beta \text{KL}[\pi_\theta \| \pi_\text{ref}]$、1.3B が GPT-3 175B を選好で上回る。DPO (Rafailov 2023) で RM 不要化、RLVR/GRPO (DeepSeek-R1, arXiv:2501.12948) で critic 不要化 + 検証可能報酬 — GRPO は $\hat{A}_i = (r_i - \text{mean})/\text{std}$ で実質 REINFORCE、長 CoT 自己創発が発見。詳細は tech-49。エージェント LLM (tool use, web nav) では長期クレジット割り当てが再浮上し長ホライゾン RL に回帰する。

ベンチマーク・環境

Atari ALE (arXiv:1207.4708): 57 ゲーム + HNS。MuJoCo (Todorov 2012, 2022 OSS 化): 連続制御。OpenAI Gym (arXiv:1606.01540)、Gymnasium (Farama) が後継 [要確認 2026-05]。DM Control Suite (arXiv:1801.00690)。Procgen (arXiv:1912.01588) は手続き生成で汎化測定。SC2LE (arXiv:1708.04782)。Habitat (arXiv:1904.01201) は embodied AI。Isaac Gym (arXiv:2108.10470) は GPU 並列で 10,000-100,000× スループット [要確認 2026-05: Isaac Lab API]。

報酬設計の落とし穴

Ng 1999 は potential-based shaping $F = \gamma\Phi(s') - \Phi(s)$ が最適方策を保存することを証明 — 任意の追加報酬は危険。Krakovna 2020 の specification gaming 分類: gaming は前提。

産業応用

AlphaGo/AlphaZero (2016/2018) で囲碁・チェス・将棋制覇。DeepMind データセンター冷却 (2016/2018) は NN setpoint 制御で 冷却エネルギー約 40% 削減。Mirhoseini 2021 (Nature 594:207) はチップ floorplanning に GNN + PPO、TPU v5 で実用化。OpenAI Dactyl (2019) は Shadow Hand Rubik’s Cube を PPO + DR で習得、sim-to-real 里程標。ANYmal/quadruped は PPO/SAC + DR で実機転送。推薦 (Chen 2019 YouTube)・広告入札 (Google/Meta/Alibaba) はオフライン RL 中心。AlphaFold 2/3 [要確認 2026-05]。自動運転 [要確認 2026-05]: Waymo/Tesla/Cruise が motion planning に RL 部分採用、Safe RL / Constrained MDP で衝突回避を保証化。

2026 フロンティアと未確認事項

RLVR for Reasoning: DeepSeek-R1 (arXiv:2501.12948) は GRPO で数学・コードに RLVR、長 CoT 自己創発 + R1→7B/1.5B 蒸留。OpenAI o1/o3 [要確認 2026-05] は内部探索 + RL で長思考連鎖、ARC-AGI で前線、訓練詳細非公開。PRM vs ORM: Math-Shepherd (arXiv:2312.08935) は自動 PRM、Let’s Verify Step by Step (arXiv:2305.20050) は人手 PRM、PRM が ORM を上回るが labeling コスト大 [要確認 2026-05]。Self-play: STaR (arXiv:2203.14465)、AlphaProof [要確認 2026-05] は Lean 検証を報酬に AlphaZero-style、2024-07 IMO 銀メダル相当。GFlowNets (arXiv:2106.04399; arXiv:2201.13259) は DAG フローマッチングで 報酬比例サンプリング、薬剤・タンパク質生成で RL 代替 [要確認 2026-05: LLM 推論応用]。エージェント LLM: WebArena (arXiv:2307.13854) / AgentBench (arXiv:2308.03688) / SWE-bench (Jimenez 2024) は GUI/web/コード長期タスク、報酬スパース + 100K+ context + 多段 tool 呼出で長ホライゾン RL に回帰。

未確認事項 (2026-05): (1) o1/o3 訓練詳細、(2) AlphaProof 公開論文、(3) Isaac Lab API、(4) AlphaFold 3 の RL 成分、(5) GFlowNet × LLM 推論、(6) DeepSeek-R1 後継と GRPO 派生、(7) PRM vs ORM コンセンサス、(8) Waymo/Tesla/Cruise の本番 RL 仕様、(9) Gymnasium 最新版、(10) Atari/MuJoCo/WebArena SOTA。confidence を high に上げる際は要再検証。

See also

• tech-49 Training Paradigm — RLHF/DPO/RLVR/GRPO 詳細
• tech-48 Distributed Training — 大規模 RL 並列化
• tech-51 Training Optimization — PPO/SAC 最適化器
• tech-64 Scaling and Operations — 本番運用
• tech-35 Transformer — Decision Transformer 基礎
• Source mindmap canvas