LLM Training Data Collection（LLM 訓練データ収集）

tech-41 クリーニングの 上流 = 収集。2026 年は raw CC → キュレーション + 合成ファースト へ移行、FineWeb 15T・Dolma 3T・DCLM 3.8T が CC ダンプを置換、SFT は 合成 > web crawl (tech-40)。EU AI Act Art.53 GPAI が訓練データ概要公開を義務化、robots.txt opt-out 急増 (Longpre 2024)、日本は 30 条の 4 で原則自由。書籍系は NYT v. OpenAI・Hachette v. IA で Gutenberg/PMC-OA/arXiv のみ安全圏。

ソース分類

Common Crawl mechanics

月次 CC-MAIN-YYYY-WW、各 snapshot 約 30 億 URL / 約 3 PB、CCBot/2.0。WARC (raw HTML) / WET (抽出済み、表/コード消失) / WAT (リンクグラフ)。Resiliparse/Trafilatura 再抽出が標準、snapshot 間 URL 重複 → cross-snapshot dedup 必須 (tech-41)、英語約 45–50% のバイアス。

キュレーション済みデータセット

選択: Edu=FineWeb-Edu、最適=DCLM、統合=Dolma、多言語=HPLT、raw=RPJ-V2。

コード / 数学 / 書籍 / 多言語 / フォーラム

コード: TheStack v2 (Allal 2024) 約 619 言語、SPDX permissive のみ (MIT/Apache/BSD) で約 45% 除去、opt-out am-i-in-the-stack。BigQuery github_repos は 2022 停止 → GHArchive 直接。

数学: OpenWebMath (Paster 2023) 14.7B は LaTeX 検出 + CC-BY/SA/PD で 60–70% 捨て、proof-pile v2 約 55B、AMPS は Khan + Mathematica。MathJax は SPA で非表示 → WARC で HTML 保存必須、S2ORC (Lo 2020) 800 万 papers、PMC-OA は混在。

書籍 — 訴訟: Gutenberg (7 万 PD) / OpenLibrary メタは安全、Books3 Pile 停止、Anna’s Archive 侵害、Hachette v. IA CDL 否定、NYT v. OpenAI、Authors Guild 集団訴訟、Anthropic Books3 和解 (2025)。日本: 30 条の 4 で複製原則自由、類似性は文化庁待ち。実務: 商業 LLM は Gutenberg + arXiv CC-BY + PMC-OA のみ。

多言語: mC4 (101) → CulturaX (Nguyen 2023、167、3–8% 補正) → ROOTS/BLOOM (59) → HPLT v2 (51) → GlotCC (1,000+)。LID 二段は tech-41、収集時点は TLD + Content-Language + 軽量 fastText。

フォーラム: StackExchange (CC-BY-SA、約 80 GB) は 派生物も SA で laundering リスク。Reddit は 2023-06 Pushshift 停止、OpenAI が 2024-05 公式契約、独立不可。HN は BigQuery で全履歴 (CC0)。

合成データのソース化

詳細は tech-40、本節は収集判断のみ。蒸留型 (Phi-3.5、teacher ライセンス依存)、Self-instruct (Magpie、OpenAI ToS 制約)、RLHF (UltraFeedback)、Pre-train 補完 (Nemotron-CC、CC-BY-4.0)。フィードバックループ: post-2023 CC が GPT 生成を含み再学習で Model Collapse (Shumailov 2023)、対策は (a) AI 生成判定 (binoculars/watermark)、(b) pre-2023 ベース + FineWeb-Edu 分類器、(c) 検証可能な合成 + 限定 web へ振り切る。

robots.txt / opt-out / Consent in Crisis

IETF RFC 9309 (2022) が REP を正式 RFC 化。AI-specific UA: GPTBot (2023-08)、anthropic-ai/ClaudeBot、Google-Extended (2023-09)、CCBot、noai、Spawning DNT、C2PA。Longpre 2024 “Consent in Crisis” は 2023–24 で AI crawl 拒否急増、ニュース/法律/医療で opt-out 率高と報告。EU AI Act Art.53 が機械可読 opt-out を義務化、CC 由来 WARC も post-hoc 再確認が安全。

ライセンスと法的枠組み

SPDX: Permissive (MIT/Apache/BSD) ◎、Weak Copyleft ◎、GPL △、CC-BY-SA △ (SA 伝播)、CC-BY-NC × (商業)、CC0/ODC-By ◎。

DMCA §1202 CMI: 抽出時の CMI 除去が §1202(b) 違反となりうる (Stability v. Getty)。EU AI Act Art.53 GPAI: ① 概要公開、② opt-out、③ 著作権者通知、④ 10^25 FLOPs 超は追加義務 — 収集時点 provenance logging 必須。

Provenance & datacards

DPI (Longpre 2023) は 1,800+ データセット審査で HF ライセンス不正確/欠損を発見。Datasheets (Gebru 2018)、Data Cards、Croissant JSON-LD。最小 provenance:

source_id: "cc-2024-18"
snapshot_date: "2024-04-28"
original_url: "https://example.com/article"
warc_filename: "CC-MAIN-20240428-00000-of-00001.warc.gz"
warc_offset: 123456789
robots_txt_allows_ccbot: true
license_detected: "unknown"  # SPDX or unknown
fetch_timestamp: "2024-04-28T12:34:56Z"

これで EU AI Act Art.53 opt-out 証明と CMI 保全を兼ねる。

収集時フィルタ（クリーニングではない）

tech-41 に渡す前の 帯域節約 + 法的リスク除去のみ: URL blocklist (UT1)、Content-Type (text/html)、HTTP 200、言語 (TLD + Content-Language + cld3 粗除去)、SPA/JS (Playwright は 10–100× コスト → 静的標準)。

落とし穴 Top 7

1. サンプリングバイアス: CC は英語/.com 偏重、Gopher が低資源を不均衡除去 → 言語別クォータ。
2. スナップショットドリフト: 同 URL 月次更新、新版がクリーンとは限らない → URL 正規化 + cross-snapshot MinHash。
3. 隠れた重複: NYT → Reuters → AP 地方紙 n-hop シンジケーションは exact dedup 不可、MinHash near-dup 必須。
4. robots.txt 不遵守: CC でも個別 Disallow が残る、post-hoc 再確認。
5. 書籍近道: Books3 → Anna’s Archive は侵害、Gutenberg + PMC-OA + arXiv のみ。
6. 合成フィードバックループ: post-2023 CC は GPT 生成多数、pre-2023 ベース + Edu 分類器 + AI 生成判定。
7. ライセンス洗浄: CC-BY-SA を aggregator 経由で permissive に見せる、SPDX 記録。

2026 年の収集戦略

参考文献

• Wenzek 2019 (CC-NET). https://arxiv.org/abs/1911.00359
• Penedo 2023 (RefinedWeb). https://arxiv.org/abs/2306.01116
• Penedo 2024 (FineWeb). https://arxiv.org/abs/2406.17557
• Soldaini 2024 (Dolma). https://arxiv.org/abs/2402.00159
• Longpre 2023 (DPI). https://arxiv.org/abs/2310.16787
• Longpre 2024 (Consent in Crisis). https://arxiv.org/abs/2402.04376
• Gadre 2024 (DCLM). https://arxiv.org/abs/2406.11794
• Allal 2024 (TheStack v2). https://arxiv.org/abs/2402.19173
• Soboleva 2023 (SlimPajama). https://arxiv.org/abs/2309.10700
• Paster 2023 (OpenWebMath). https://arxiv.org/abs/2310.06786
• Nguyen 2023 (CulturaX). https://arxiv.org/abs/2309.09400
• Gebru 2018 (Datasheets). https://arxiv.org/abs/1803.09010
• Laurencon 2022 (BLOOM / ROOTS). https://arxiv.org/abs/2303.03915
• Shumailov 2023 (Model Collapse). https://arxiv.org/abs/2305.17493
• Lo 2020 (S2ORC). https://arxiv.org/abs/2004.10706
• IETF RFC 9309. https://www.rfc-editor.org/rfc/rfc9309
• EU AI Act Art.53. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689
• 日本 著作権法 30 条の 4. https://elaws.e-gov.go.jp/document?lawid=345AC0000000048
• Common Crawl. https://commoncrawl.org/the-data/get-started
• MLCommons Croissant. https://mlcommons.org/working-groups/data/croissant/