LLM Training Data Augmentation（LLM 訓練データ拡張）

LLM 訓練データ拡張は既存コーパスの不足 (規模・多様性・指示形式・推論連鎖・選好) を 合成・重み付け・濾過 で補う技法群。2023 年以降は 強い LM を蒸留器・検証器・選好評価器として使う パイプラインが主流。$\text{pre-train} \to \text{SFT} \to \text{RLHF/DPO} \to \text{推論強化}$ の 4 段にそれぞれ専用技法があり、Chinchilla 最適点と Villalobos「データウォール」(2024) が augmentation を「構造的必需」に押し上げた。供給は tech-39、Transformer tech-35、トークン化 tech-37。

なぜ拡張が必要か — データウォールと多様性の限界

Hoffmann 2022 (Chinchilla) は最適比を約 20 token/parameter と示し、Llama 3 8B が 15T tokens まで踏み込んだ (Dubey 2024) ことで「高品質英語 web は 2026–2028 枯渇」(Villalobos 2024) が現実化。シャッフル (tech-39) は 最適配送 を解くが、カバレッジ偏り (英語・Reddit 集中、低資源/医療/法律が薄い) と 規模上限 は別問題。Muennighoff 2023 は「同一実データは 4 epoch まで、以降は合成混合が必要」と定量化。拡張は ① 規模 ② 多様性 ③ 形式 を同時に伸ばす。

古典 NLP 拡張と LLM スケールでの限界

EDA (Wei & Zou 2019) は同義置換・挿入/入替/削除で小規模分類に +1–3%、Back-translation (Sennrich 2016) は英 → X → 英 で疑似平行ペア。LLM 規模 ($\ge 10^7$) では頭打ち: 1B+ 事前学習がウェブ多様性を内包、SFT で不足するのは 指示 → 応答の形式 で EDA は埋めない。$<10^4$ の低資源 SFT では今も有効、LLM 時代の同等物は 強い LM による文体パラフレーズ (Llama 3 / Phi-3 SFT に組込済)。

合成指示データ — SFT の主力

InstructGPT (Ouyang 2022) は 13k の人手 instruction から出発したが、Wang 2023 (Self-Instruct) 以降、SFT の主力は 合成指示データ に移った。

Magpie の鍵: Self-Instruct はメタタスクとして指示生成を要求するが、Magpie は整列モデルが内在化した指示分布を吐かせ実ユーザ分布に近い。Persona-Hub の鍵: ペルソナ条件付けは 人口多様性の代理 でモード崩壊を回避。GPT-4/Claude 蒸留は ToS 違反の灰色領域、製品では Llama/Qwen 教師か自社パイプラインが定石。

推論トレース拡張 — RFT と検証器フィルタリング

Wei 2022 (CoT) 以降 強い教師 → 弱い学生 の CoT 蒸留が定着したが、教師の幻覚は 連鎖中の誤りが除去困難 で検証器フィルタが必須。STaR (Zelikman 2022) は反復自己改善の原型: 推論生成 → 正解のものだけ残し → fine-tune → 反復。RFT として一般化、$K$ サンプル中の正解のみ学習化。Best-of-N はオフライン同等物。検証器の階梯:

• 答え一致 (math): 安価だが誤フィルタが多い。
• 実行ベース (code): unit test を満たすか。最も信頼性が高い。
• PRM: Lightman 2023「Let’s Verify Step by Step」が 各ステップに報酬 を与える PRM800K を公開。途中破綻トレースを除去可。
• LM-as-judge: rubric 評価。位置・冗長性・自己選好バイアスに注意。

DeepSeek-V3 / R1 (2024) は RFT 正解 CoT を SFT → GRPO の「SFT → RL」標準化を示した。

RLHF / DPO 選好ペア拡張

人手選好は時給数十ドル × 数百万ペアで限界に近く合成が支配的に。Constitutional AI (Bai 2022) は principles で モデル自身に自己批評・修正 させ、SL-CAI → RL-CAI で LM 自身を labeler に。RLAIF は一般化で多くで RLHF と comparable。UltraFeedback (Cui 2023) は 64k 指示に GPT-4 + 4 モデル応答を 5 軸で 1–5 採点し選好ペア構成、Zephyr-7B DPO の中核。Self-Rewarding LM (Yuan 2024) は同一モデルが生成と判定を兼ねる閉ループ。Llama-2-70B が 3 反復で AlpacaEval 2 で GPT-4 0613 を上回ったが reward hacking が Goodhart 法則として顕在化。緩和は人手 anchor 注入・OOD テスト・process-level 検証の併用。

事前学習コーパス側の「拡張」 — 重複排除・ドメイン重み・品質フィルタ

事前学習段では新規生成より 既存コーパス再形成 が augmentation として効く。重複排除 (Lee 2022) は exact hash + MinHash LSH (Jaccard $\ge 0.8$) で near-dup 除去。CC の 10–30% は near-dup、残すと 記憶 が増え汎化が落ちる。DoReMi (Xie 2023) は 280M proxy で group-DRO を回し最悪ドメインを高比率化、Pile 22 ドメインで 2.6× 収束加速、tech-39 と表裏。品質分類: FineWeb-Edu (Penedo 2024) は GPT-4 に 450k 文書を 0–5 評価させ fastText に蒸留 → 1.3T tokens 抽出、5× 大きい FineWeb と同等以上。DCLM (Li 2024) はモデルベースが heuristic を上回ることを示した。Phi-3/4 は GPT-4 合成教科書 200B+ tokens で「Textbooks are all you need」を発展。4-epoch ルール (Muennighoff 2023): 同一実データは 4 epoch まで劣化小、以降は合成混合 (1:1 が安全圏)。

コード・数学・多言語の特化拡張

OSS-Instruct (Wei 2024, MagiCoder) は GitHub の snippet を 種 に「inspired された (コピーしない) 問題と解を作れ」と指示、実行フィルタで正解のみ採用し ライセンス汚染を回避。Code back-translation は code → docstring → code で実行結果一致を確認。数学: MetaMath は rephrase・forward/backward・FOBAR で増幅、WizardMath は Evol-Instruct を数学に適用。多言語: 英中心 SFT を NLLB-200 / GPT-4 で 8–101 言語に back-translate が主流 (Llama 3 / Aya)。mC4 / CulturaX は 類似スクリプトの LID 誤判定 (Malay/Indonesian、Hindi/Marathi) が顕著、LID + 文字 n-gram の二段フィルタ必須。

落とし穴 Top 5

1. モデル崩壊 (MAD): Shumailov 2023「Curse of Recursion」は自モデル生成の反復学習で 分布の裾が指数的に失われる ことを証明。Alemohammad 2023 は画像で実証、anchor なしは 3–4 世代で発散。緩和: 人手 $\ge 20\%$ 維持、embedding 分散監視、$|D_{\text{syn}}| / |D_{\text{real}}| \le 4$。
2. ベンチマーク汚染: 合成問題が GSM8K/MATH/HumanEval を再生成、CoT 蒸留は教師の記憶解を伝播。緩和: Llama 3 流 13-gram 重複検出 で $\ge 0.5$ overlap を除外し decontamination 率を報告。
3. 教師上限: Gudibande 2023「False Promise」は Alpaca/Vicuna が ChatGPT の 文体 は模倣できても 能力 を超えないことを示した。緩和: 教師は形式・多様性に、能力向上は 独立検証器付き RL (実行・PRM・外部 oracle) で。
4. 分布シフト: 合成指示は実 user (短く曖昧で typo を含む power-law) より整い過ぎる「Orca 問題」— ベンチ強の小型蒸留が production で UX を落とす。緩和: 実 user query を匿名化混合、Magpie 型内在分布生成、実会話で評価。
5. CoT 幻覚増幅: 教師の reasoning 誤りが整合 chain に埋込まれ学生が「もっともらしい誤推論」を学習。緩和: RFT を最低限、code は実行、factual は NLI/RAG、CoT 内部誤りは PRM でステップ単位検出。

2026 年の選択指針

迷ったらこれ: pre-train で dedup + DoReMi + Phi 合成 20%、SFT で Magpie 300k + Persona-Hub + 実 user 5–10% 混合、Math/Code は RFT + 実行/PRM、DPO は UltraFeedback + Self-Reward 反復 (anchor 必須)、各段で 13-gram decontamination + 合成比率 $\le 80\%$ + 分布監視。

日英用語対照表

参考文献

• Wang 2023 (Self-Instruct). https://arxiv.org/abs/2212.10560
• Xu 2023 (WizardLM / Evol-Instruct). https://arxiv.org/abs/2304.12244
• Xu 2024 (Magpie). https://arxiv.org/abs/2406.08464
• Ge 2024 (Persona-Hub). https://arxiv.org/abs/2406.20094
• Ding 2023 (UltraChat). https://arxiv.org/abs/2305.14233
• Zelikman 2022 (STaR). https://arxiv.org/abs/2203.14465
• Lightman 2023 (Let’s Verify / PRM800K). https://arxiv.org/abs/2305.20050
• Cui 2023 (UltraFeedback). https://arxiv.org/abs/2310.01377
• Bai 2022 (Constitutional AI). https://arxiv.org/abs/2212.08073
• Yuan 2024 (Self-Rewarding LM). https://arxiv.org/abs/2401.10020
• Lee 2022 (Deduplication). https://arxiv.org/abs/2107.06499
• Xie 2023 (DoReMi). https://arxiv.org/abs/2305.10429
• Muennighoff 2023 (Data-Constrained). https://arxiv.org/abs/2305.16264
• Shumailov 2023 (Model Collapse). https://arxiv.org/abs/2305.17493
• Alemohammad 2023 (Self-Consuming MAD). https://arxiv.org/abs/2307.01850
• Gudibande 2023 (False Promise). https://arxiv.org/abs/2305.15717
• Wei 2024 (OSS-Instruct / MagiCoder). https://arxiv.org/abs/2312.02120
• Wei & Zou 2019 (EDA). https://arxiv.org/abs/1901.11196
• Sennrich 2016 (Back-translation). https://arxiv.org/abs/1511.06709
• Wei 2022 (CoT). https://arxiv.org/abs/2201.11903
• Hoffmann 2022 (Chinchilla). https://arxiv.org/abs/2203.15556
• Dubey 2024 (Llama 3). https://arxiv.org/abs/2407.21783
• DeepSeek-V3 / Phi-3/4 / Qwen 2.5 / Gemma 2 技術報告 (2024).
• FineWeb-Edu / DCLM データセット報告 (2024).