LLaMA 系（Meta）

Meta の LLaMA (Large Language Model Meta AI) 系は、2023-02-24 の LLaMA 1 から 2025-04-05 の Llama 4 まで、decoder-only Transformer + RMSNorm + SwiGLU + RoPE を骨格に、(1) 小モデルを長く訓練する train-small-models-long、(2) 独自コミュニティライセンス下のオープンウェイト配布、(3) RLHF / DPO 整合化、(4) マルチモーダル + MoE への拡張、の 4 軸で展開してきた系譜である。本記事はリリース順の系譜と Meta の家族設計指針を整理する。Transformer 骨格・RMSNorm・SwiGLU・RoPE・GQA の一般論は別記事に譲り、LLaMA 系がこれらを de facto 標準に押し上げた役割の側から触れる。

モデル系譜

各リリースは前世代の architectural primitives (decoder-only + RMSNorm + SwiGLU + RoPE) を踏襲し、訓練データ規模・GQA 適用範囲・後訓練手段・モダリティ統合のいずれかで非連続な変化を加えている。Alpaca / Vicuna は Meta によるリリースではなく、LLaMA 1 リーク後の community FT である点に注意する。

LLaMA 1 とリーク

LLaMA 1 (arXiv:2302.13971) は研究目的のみの非商用ライセンスで、重みは申請ベースの限定配布であった。設計上の主張は二つで、(a) Chinchilla (Hoffmann 2022) の訓練 compute-optimal よりも、推論コスト最適点では小モデルを長く訓練するほうが有利である、(b) 7B を約 1.0T、65B を約 1.4T トークンで訓練することで、13B 変種が GPT-3 (175B) を多くの標準ベンチで上回るとした (paper の表現: “our models outperform GPT3 on most benchmarks”)。比較対象は GPT-3 API ベースで、RLHF を経た ChatGPT ではない。

公開約一週間後の 2023-03-03、重みが 4chan に投稿され BitTorrent 経由で事実上の公開状態となった。Meta はリーク後も配布を撤回せず、2 週間以内に Stanford Alpaca (2023-03-13、self-instruct 52k) と Vicuna-13B (2023-03〜04、ShareGPT 70k) が登場、商用ライセンス不在のままオープンウェイト LLM エコシステムが立ち上がった。

LLaMA 2 とコミュニティライセンス

LLaMA 2 (arXiv:2307.09288, 2023-07-18) は系譜上初の商用許諾モデルで、新設の “Llama 2 Community License Agreement” のもと月間アクティブユーザ (MAU) 7 億未満の事業者に商用利用が許諾された。7 億以上は Meta との別ライセンス交渉が必要で、OSI 定義の open-source ではなくオープンウェイト止まりである点をライセンス文言が明示する。Microsoft Azure が同日に配布パートナー発表された。

サイズは 7B / 13B / 70B で、LLaMA 1 の 33B は外された。事前学習 2.0T トークン、context 4,096。GQA (Grouped-Query Attention) は 70B にのみ適用、7B / 13B は通常 MHA。Llama 2-Chat は SFT → 報酬モデル → PPO ベースの RLHF + rejection sampling に、マルチターン整合性のための Ghost Attention (GAtt) を加える。安全性評価・red-teaming の記述量が LLaMA 1 比で大幅に増えた。

Code Llama

Code Llama (arXiv:2308.12950, 2023-08-24) は LLaMA 2 checkpoint から派生した code 特化モデルで、約 500B トークンの code 主体データで継続学習された。初出 7B / 13B / 34B、2024-01 に 70B 追加。LLaMA 2 の基底サイズ (7B / 13B / 70B) と整合せず、34B は Code Llama 専用である。Base / Python / Instruct の 3 派生で、後者 2 つは Base 上の追加 FT。context は位置補間 + 長 context FT で最大 100k トークンまで拡張されたが、paper は FT window 超で品質低下を明記しており製品発表の絶対値とは温度差がある。ライセンスは Llama 2 Community License を継承。

LLaMA 3 / 3.1 / 3.2 / 3.3

LLaMA 3 (2024-04-18, arXiv:2407.21783) は事前学習を約 15T トークンに引き上げ、tokenizer を 128,256 語彙の tiktoken 互換 BPE に置き換えた (LLaMA 1/2 は 32k 語彙 SentencePiece)。GQA は 8B / 70B 両サイズに適用、context は base 8,192、後訓練は SFT + DPO + PPO + rejection sampling と、DPO が家族として組み込まれた最初の世代である。ライセンスは “Meta Llama 3 Community License” に更新された (商用条件は Llama 2 と類似)。

Llama 3.1 (2024-07-23) は同一 arXiv 報告書 (“The Llama 3 Herd of Models”) の射程で 8B / 70B / 405B を発表。405B は Meta によるフロンティアスケールのオープンウェイト初出で、Meta 評価では GPT-4 / Claude 3.5 Sonnet と多くのベンチで競合する。製品発表ブログの最上級表現は arXiv:2407.21783 の評価表を根拠に解釈するのが妥当。context は 128,000 トークンに拡張 (RoPE theta 調整 + 長系列継続学習)、FP8 推論レシピが NVIDIA との協業で公開され DGX H100 上での 405B 推論が実用域に入った。

Llama 3.2 (2024-09-25) は 1B / 3B の text-only 小モデル (on-device 想定) と 11B / 90B のビジョン対応モデルを併発した。ビジョン側は凍結 LLM に対するクロスアテンション型アダプタ構成で、エンコーダと LLM は別コンポーネントとして接続される。GPT-4o の単一モデル統合型 (tech-52) とは異なる選択で、LLaVA 系に近い。EU AI Act を理由にビジョン 11B / 90B は EU からリリース除外された (text-only 1B / 3B は対象外)。

Llama 3.3 (2024-12-06) は 70B のみのリリースで、ベース構造は Llama 3.1 70B から変更なし、後訓練 (“online RLHF improvements”) のみで品質を底上げした。Meta は本世代 70B が Llama 3.1 405B 相当を約 1/6 推論コストで達成すると主張するが、製品発表ベースで peer-review による独立検証はない。

Llama 4 (MoE)

Llama 4 (2025-04-05 発表) は Meta 初のオープンウェイト MoE 家族で、Scout (active 17B / total 109B、16 experts)、Maverick (active 17B / total 400B、128 experts)、Behemoth (active 約 288B / total ~2T、発表時点で「訓練中」、蒸留 teacher) の 3 サイズで構成される。Scout / Maverick は native multimodal (画像 + テキストの一体訓練) で、Llama 3.2 のクロスアテンション・アダプタ型から踏み込んだ統合度。context は Scout で 10M、Maverick で 1M トークンが製品発表値だが、実利用での品質維持長は技術報告書側での検証を要する。Mixtral 8×7B (Mistral, 2024-01) と DeepSeek-V3 (2024-12) に続く open-weight MoE 第三世代の Meta 参入であり、MoE 設計論点は tech-36 を参照。

LMArena 論争 (2025-04 上旬): Meta は Llama 4 Maverick を LMArena に “Llama-4-Maverick-03-26-Experimental” として提出し、公開チェックポイントよりも高いスコアを得た。提出版と公開版が異なるチェックポイントであったことは Meta と LMArena の双方の声明で確認された。本記事は事実のみを記述し、意図の評価には立ち入らない。

持続的な家族特性

• decoder-only + RMSNorm + SwiGLU + RoPE の de facto 標準化: LLaMA 1 から Llama 4 まで全リリースが踏襲し、オープンウェイト LLM 実装でも事実上の既定構成となった。LLaMA 系の最大の家族特性は、これらを採択したことそのものではなく、広範な普及によって生態系の標準を確立した点にある。
• train-small-models-long の哲学: 推論コスト最適点では Chinchilla の compute-optimal よりも小モデルを長く訓練するほうが有利、という設計指針が一貫して維持されてきた。LLaMA 1 7B (1.0T) → LLaMA 2 (2.0T) → LLaMA 3 (~15T) と訓練トークン量を桁単位で増やす一方、最小サイズは 7B〜8B 帯に据え置かれている。
• オープンウェイト、ただし OSI 定義の open-source ではない: 全リリースが “Meta Llama X Community License Agreement” 名義の独自ライセンスで、商用利用は MAU 上限と Acceptable Use Policy 付き。重み・推論コードは配布されるが、訓練データ・訓練コードは非公開である。“open-weight” は適切な表現で、“open-source” は OSI 基準では誤りとなる。
• 後訓練レシピの段階的進化: LLaMA 1 (base のみ) → LLaMA 2 (SFT + RM + PPO + rejection sampling + GAtt) → LLaMA 3 (SFT + DPO + PPO + rejection sampling) → Llama 3.3 (online RLHF 改良)。DPO が PPO と併存する形で組み込まれた最初の主要オープン家族でもある。
• マルチモーダル / MoE 統合への軌跡: LLaMA 1〜3.1 は text-only、Llama 3.2 でクロスアテンション・アダプタ型ビジョン、Llama 4 で native multimodal + MoE と段階的に統合度・スパース性を上げてきた。GPT 系の単一モデル統合型 (tech-52) とは異なる経路選択である。

未確認事項と注意点

• Llama 3 / 4 の MAU 上限: LLaMA 2 の 7 億 MAU 上限はライセンス文書に明記されているが、Llama 3 / 4 系のコミュニティライセンスでの数値は llama.com 上の最新ライセンス PDF での確認を要する。本記事は Llama 2 の 7 億を確定値、それ以降を「類似だが要確認」として扱う。
• Llama 4 の arXiv 技術報告書: 発表 (2025-04-05) 時点では arXiv 報告書は確認されておらず、本記事のすべての Llama 4 数値は製品発表ベースである。技術報告書が公開された場合、active/total パラメータ・context 長・MoE ルーティング詳細の独立検証が可能となる。
• Llama 3.3 70B = Llama 3.1 405B 相当という主張: Meta の発表に基づく製品レベルの主張で、独立した peer-reviewed 評価では裏取りされていない。一般指示追従の体感では概ね整合的とする周辺評価はあるが、ベンチマーク横断での独立検証は本記事執筆時点で未確認である。
• LMArena 論争の最終的解決: 提出版 (Experimental) と公開版が異なるチェックポイントであったことは双方の声明で確認されているが、スコア差の正確な数値、その後のリーダーボード再評価の経緯、評価方針の改訂の有無については記事執筆時点で確定情報が手元にない。
• Llama 4 の context 長 (Scout 10M / Maverick 1M): 製品発表値であり、実評価で品質が維持される系列長 (effective context) は技術報告書側での確認を要する。マーケティング上の上限と実用品質維持長は一般に乖離しうる。

Related

• Transformer — tech-35
• GPT Family — tech-52
• Mixture of Experts — tech-36