Training Paradigm（学習パラダイム）

LLM の訓練は Pretraining (事前学習) と Post-training (微調整スタック) の 2 本柱で、2024〜2026 に後者が SFT → DPO → RLVR の 5 段カノニカル化へ進化した。Pretraining は Causal LM 目標 + Chinchilla 則 (Hoffmann 2022, arXiv:2203.15556) で N:D≈1:20 を基準としつつ、推論効率優先で Llama-3.1 8B = 1,875 tokens/param まで over-train。Post-training は InstructGPT (Ouyang 2022, arXiv:2203.02155) の 3 段 RLHF を DPO (Rafailov 2023, arXiv:2305.18290) が置換、2025 は DeepSeek-R1 (Guo 2025, arXiv:2501.12948) で RLVR + GRPO が推論モデル標準に。本記事は学習プロセスのみ、精度 (FP16/INT8) は対象外。並列訓練は tech-48、アーキテクチャは tech-35 参照。

事前学習の自己教師あり目標

LLM の主目標は Causal LM (CLM) — 左から右への次トークン予測。≥7B でデファクト。デコーダのみ Transformer (unidirectional attention) で実装、≥7B 規模で few-shot in-context learning が創発する (Brown 2020, arXiv:2005.14165)。Masked LM (BERT, Devlin 2018, arXiv:1810.04805) は 15% トークン masking で双方向 attention 可だが生成タスクとスケーリングで劣る。Span-corruption (T5, Raffel 2019, arXiv:1910.10683) と denoising (BART, Lewis 2019, arXiv:1910.13461) は encoder-decoder で要約・翻訳に強い。Prefix LM (PaLM-2) は前半双方向・後半因果の折衷。CLM 支配の理由は (1) Scaling Laws との整合、(2) chain-of-thought / in-context learning との相性、(3) encoder 側 attention のメモリ非対称性回避の 3 点。

スケーリング則と訓練データ量

Kaplan 2020 (arXiv:2001.08361) はテスト損失が N (params) / D (tokens) / C (compute) のべき乗則に従うと示し、当時は「N 優先・D 抑制」と解釈された。Chinchilla (Hoffmann 2022, arXiv:2203.15556) が実験デザインのバイアスを修正、compute-optimal では N:D ≈ 1:20 (20 tokens/param) が最適と立証。Gopher 280B/300B は過少訓練、Chinchilla 70B/1.4T が同 compute で勝つ。2024〜2026 は inference-efficient over-training が主流: Llama-3.1 405B ≈ 38 tokens/param、Llama-3.1 8B ≈ 1,875 tokens/param — 推論コスト最小化のため Chinchilla 最適点を大幅超過。Besiroglu 2024 (arXiv:2404.10102) は Chinchilla 係数推定の再修正を提起。

継続事前学習とデータ繰返し

CPT / DAPT (Gururangan 2020, arXiv:2004.10964) は汎用 pretrained を医療・コード・ニュース等のドメインコーパスで追加事前学習し、下流タスクを有意改善する。最大リスクは 壊滅的忘却 — 汎用知識消失。対策は汎用データの 5〜20% リプレイ混合 + 低学習率 (1e-5〜5e-5)。データ制約下では Muennighoff 2023 (arXiv:2305.16264) が同一データ最大 4 epoch までは新鮮トークンと同等性能を示し、それ超は過学習で性能低下と立証した。高品質コーパス枯渇時の運用根拠となる。

教師あり微調整 (SFT / Instruction Tuning)

(instruction, input, response) triplet で response トークンのみ に cross-entropy を適用する微調整。FLAN (Wei 2021, arXiv:2109.01652) が 60+ タスクのマルチタスク SFT で zero-shot 性能を激変、T0 (Sanh 2021, arXiv:2110.08207) がプロンプト多様化、Flan-T5 (Chung 2022, arXiv:2210.11416) が 1,800 タスク + CoT データで chain-of-thought 能力を獲得した。LIMA (Zhou 2023, arXiv:2305.11206) は「Superficial Alignment Hypothesis」を提唱し、高品質 1,000 例で LLaMA-65B が GPT-4 比肩 (限定タスク) を実証 — 量より質。実装の典型バグはプロンプトトークンへの loss masking 漏れ で、見かけ低 loss で過学習を隠す。label=-100 で完全マスク必須。

RLHF — 人間フィードバックからの強化学習

InstructGPT (Ouyang 2022, arXiv:2203.02155) の 3 段: (1) SFT → (2) Reward Model 訓練 (Bradley-Terry, prompt × chosen × rejected pair) → (3) PPO で reward = RM(x,y) - β · KL(π‖π_ref) を最大化。Anthropic HH (Bai 2022, arXiv:2204.05862) は Helpfulness × Harmlessness 二軸のデータセットを定式化。PPO の課題は 3 点: (a) Reward hacking — RM 訓練範囲外で policy が無意味繰り返し等で高スコア取得、(b) 4 モデル同時保持 (actor/critic/RM/ref) でメモリ + エンジニアリング高コスト、(c) KL 過少 で参照 policy から乖離し崩壊。これら課題が DPO 系列への移行を駆動した。

DPO とその系列 — 報酬モデル不要の選好最適化

DPO (Rafailov 2023, arXiv:2305.18290) は RLHF 3 段を 1 段の分類問題に圧縮。explicit RM 不要、loss は L = -log σ(β · [log(π_θ(y_w|x)/π_ref(y_w|x)) - log(π_θ(y_l|x)/π_ref(y_l|x))])。2024〜2025 は Llama-3 / Tulu-3 / Mistral / Qwen2.5 等の post-training 標準。主要バリアントは以下:

RLAIF と憲法的 AI

Constitutional AI (Bai 2022, arXiv:2212.08073) は人間ラベラの代わりに 憲法 (原則リスト) を AI に与え、自己批評 → 改訂 → 選好ラベリングを実行させ RM/RLHF に投入する。Anthropic は harmlessness を AI フィードバックのみで達成し人間コストを削減した。Self-Rewarding LM (Yuan 2024, arXiv:2401.10020) はモデル自身が judge を兼ね、自己生成応答を評価して DPO データを逐次構築 → iterative improvement。2024〜2025 の合成データ駆動 post-training の理論基盤となる。

PEFT — パラメータ効率的微調整

LoRA (Hu 2021, arXiv:2106.09685) は重み更新 ΔW = BA (B∈R^{d×r}, A∈R^{r×k}, r≪min(d,k)) で低ランク近似、学習対象は全パラメータの 0.1〜1%、r=16〜64 が最適領域、Attention の Q/V 行列適用が最有効、推論時は ΔW を W にマージで遅延ゼロ。QLoRA (Dettmers 2023, arXiv:2305.14314) は NF4 (Normal Float 4-bit) + double quantization で base model を圧縮、LoRA アダプタのみ BF16 訓練、Paged Optimizers で GPU メモリスパイクを回避 — 65B を 48 GB GPU 1 枚で微調整可能化。DoRA (Liu 2024, arXiv:2402.09353) は重みを magnitude (scalar) と direction (LoRA) に分解、full FT に近いダイナミクスで LoRA を超える性能。Prefix-tuning / Prompt-tuning は各層 / 入力埋込に soft prompt 追加、モデル大きいほど full FT 近接。

推論ポストトレーニング — 2025 フロンティア

DeepSeek-R1 (Guo 2025, arXiv:2501.12948) は RLVR (RL with Verifiable Rewards) を導入: 数学・コード等の正解可否を自動検証できる領域のみ報酬付与 → reward hacking が構造的に不可能。最適化は PPO ではなく GRPO (Group Relative Policy Optimization)、グループ内の相対スコアで報酬を正規化し critic を不要化 + 分散低減。Long-CoT が訓練中に自然創発し、その long-CoT データで Llama/Qwen 小型モデルを蒸留すると小型でも高推論力が出る。OpenAI o1 系列 (2024) も RL で長思考連鎖を内部化したが詳細は非公開。reasoning model が pre-training と並ぶ第二の支柱に。

横断的トピック — データ混合・長文拡張・ツール使用

DoReMi (Xie 2023, arXiv:2305.10429) は小型 proxy でドメイン損失差分から重みを最適化 → 本番訓練転用、ランダム比 1.5〜2% 改善。Llama-3 annealing は最終 40B トークンを教科書/コード/STEM に集中。WSD (MiniCPM, Hu 2024, arXiv:2404.06395) は Warmup-Stable-Decay の 2 段で中間 checkpoint 出力と複数サイズ転用を可能化。YaRN (Peng 2023, arXiv:2309.00071) は RoPE 周波数 + NTK スケーリングで 8K→128K context を少量 CPT で実現。Toolformer (Schick 2023, arXiv:2302.04761) は API call を自己教師あり的に SFT データ化、function calling SFT の祖型。LLaVA (Liu 2023, arXiv:2304.08485) は CLIP-ViT 出力を linear projection で LLM 埋込空間にマップする adapter-on-top パターンを定立。

落とし穴 — 頻発する 6 つの失敗モード

2026 フロンティア

Self-play / Iterative DPO: Tulu-3 (UW 2024) は on-policy DPO でモデル自身の生成を preference pair 化、Llama-3 / DeepSeek-V3 も iterative self-play 採用 — 静的データの distribution shift 回避。RLVR for Reasoning: DeepSeek-R1 / Qwen3-Math / OpenAI o3 が検証可能ドメイン (数学・コード・形式検証) に RL 集中、GRPO で critic 不要化が標準化。Synthetic Data Scaling: Phi-4 (Abdin 2024, arXiv:2412.08905) は 9.8T のうち大部分が GPT-4 生成合成データで、14B ながら math/reasoning で 70B 級匹敵 — 多様性・正確性・難易度分布の制御が律速。Model Merging: SLERP / TIES-Merging / Model Soup (Wortsman 2022, arXiv:2203.05482) 等の weight averaging が複数 checkpoint を統合。Canonical 5-Stage Stack (2026): Pretraining (CLM, T tokens) → SFT (1K-100K instruction-response) → DPO/IPO/SimPO (preference alignment) → RLVR (verifiable-reward RL) → Model Merge (SLERP/TIES)。

See also

• tech-48 Distributed Training — 並列訓練インフラの軸
• tech-35 Transformer — 訓練対象アーキテクチャ
• 今後: Training Hyperparameters (#345) / Training Optimization (#346) — 前方参照、本クラスタの兄弟記事
• Source mindmap canvas