LLM 比較

本記事は 2026-05 時点の主要 LLM を家族間で横断比較する方法論を整理する。家族系譜は GPT 系 (tech-52)・LLaMA 系 (tech-53)・Mistral 系 (tech-54) など別記事に譲り、本記事は配布形態・ライセンス・アーキテクチャ・モダリティ・推論モード・文脈長・価格・ベンチマーク・リーダーボード・持続傾向の 10 軸を扱う。ランキング数字は週次変動のため記載しない。

配布形態と分類

LLM の配布形態は 3 つに分かれる。クローズド API 専用は重みが公開されず API 経由でのみ利用する。OpenAI (GPT-5 / GPT-4.1 / o3 系)、Anthropic (Claude Opus 4 / Sonnet 4 / Haiku 4)、Google DeepMind (Gemini 2.5 Pro / Flash)、xAI (Grok 3 / 4) が代表でフロンティアの大半が属する。オープンウェイトは重みが取得可能だが配布ライセンスに MAU 上限・Acceptable Use Policy・出力転用制限などの非 OSI 条項を含む。Meta LLaMA、Mistral 系の一部 (Large / Medium)、DeepSeek V3 / R1、Alibaba Qwen、Microsoft Phi が該当する。真のオープンソース (OSI 認定) は Apache 2.0 / MIT 等で配布され追加制約を持たない。Mistral 7B / Mixtral 8x7B / Codestral Mamba / Pixtral の Apache 2.0 配布、OpenAI gpt-oss (2025-08)、Phi の一部 MIT 配布、Allen AI OLMo が該当する。

「オープンウェイト」と「オープンソース」の同一視は典型的誤分類で、LLaMA / Qwen / DeepSeek 等は重みが公開されていても OSI 認定オープンソースではない。本記事は両概念を明示的に分離する。

ライセンス分類

Apache 2.0 主張モデルでも別途 AUP が併記される場合があり、ライセンス本文と AUP の両方を確認する必要がある。“Open source” を名乗りつつ MAU 上限や用途制限を含むケースは OSI 定義のオープンソースではない。

アーキテクチャ比較

主要 LLM のアーキテクチャは強く収束しており、Pre-LN decoder-only Transformer + RoPE + RMSNorm + SwiGLU + GQA が事実上の標準スタックである。家族間の差は層数・隠れ次元・GQA グループ数・トークナイザ・学習データ・後訓練手段に集約され、根本構造の差は小さい。

主要な分岐は Dense vs MoE である。Dense は全パラメータが各トークン推論で活性化、MoE はルータが少数エキスパートを選択し active と total を分離する。MoE 採用例は Mixtral 8x7B (2023-12)、DeepSeek V2 / V3、Llama 4 Scout (17B/109B) / Maverick (17B/400B) / Behemoth (~288B/~2T 訓練中)、Qwen2.5-Max、OpenAI gpt-oss-120B 等。GPT-4 も MoE との報道があるが OpenAI 公式確認はない。MoE 理論は tech-36 に詳しい。例外として Codestral Mamba 7B (2024-07) は State Space Model を採り、RWKV 系も Transformer + RNN ハイブリッドで開発が続くが、採用度では Transformer 系が圧倒的多数である。

モダリティ

マルチモーダル統合度は 5 段階で区別する。(1) テキスト専用: 小型 OSS、初期 GPT-3.5、Mistral 7B。(2) 分離エンコーダ型 (画像入力): CLIP / SigLIP / ViT 出力をテキスト埋め込み空間に射影、Claude 3 系・Gemini 1.x 系・GPT-4 (2023-03) 等。(3) Cross-attention アダプタ型: 凍結 LLM に画像エンコーダ出力を cross-attention 層で挿入。Llama 3.2 Vision (11B / 90B) が代表で、テキスト性能を温存しつつ視覚対応を追加する。(4) Interleave / 共同訓練型: ViT エンコーダとデコーダを混在トークン列で共同訓練、Pixtral 12B (Mistral, 2024-09) が該当。(5) エンドツーエンド multimodal: テキスト + 音声 + 画像 + 動画を単一モデルが処理。GPT-4o (2024-05) と Gemini 2.x 系が該当し、モード間遅延と価格の両面で従来の Whisper → LLM → TTS パイプラインを上回る。

統合度が高いほど学習・検証コストは上がるが、モード間遅延と整合性の利点が得られる。選定は「画像が必要か / 音声リアルタイムが必要か」で必要層が決まる。

推論モード (extended thinking)

2024 年後半以降、応答前に長い chain-of-thought (CoT) を生成して推論深度を増す推論モードが新しい価値軸として確立した。家族ごとに UX と課金が異なる。

• OpenAI o-series: o1 (2024-09) / o3 (2025-04) は RL 訓練の推論特化モデル。内部 CoT を「reasoning tokens」として入出力とは別枠で課金、既定では非表示。o3-mini は reasoning effort を low / medium / high で選択可能。
• Anthropic extended thinking: Claude 3.7 Sonnet (2025-02) 以降、可視 thinking ブロックを応答前に出力。透明である点が o-series と異なる。
• Google Gemini Thinking: Gemini 2.0 Flash Thinking (2024-12) と Gemini 2.5 Pro (2025-03) で thinking 統合。
• DeepSeek-R1 (2025-01): オープンウェイト reasoning の代表。MIT で公開され distillation で Qwen / Llama ベース 7B〜70B 派生が広まった。
• Magistral (Mistral, 2025-06): オープンウェイト推論モデル。
• GPT-5 (2025-08): 推論系と通常系を統合し、クエリ複雑さに応じて推論深度を自動配分するルーティング設計。

推論モードは「より良い回答のために単価が上がる」コスト構造を導入し、評価軸として単純な per-token 価格を超える per-task quality at per-task cost での比較を要する。

コンテキスト長

API 仕様上の最大 context と実用上の effective context (性能維持上限) は別指標として扱う。標準域は 8k 〜 128k トークンで大半の用途で十分。ロング context は Gemini 1.5 Pro (2024-02) で 1M / 2M、Llama 3.1 (2024-07) で 128k、GPT-4.1 (2025-04) で flagship 1M、Llama 4 Scout で 10M / Maverick で 1M (いずれも仕様値、effective context は要独立検証)。Claude Sonnet 4 も Pro / Enterprise tier で 1M を提供する。

評価には RULER、NIAH (Needle in a Haystack)、LongBench 等を用いる。仕様値が大きくても中盤の検索精度が落ちる “lost in the middle” 現象は広く観測され、最大値と effective context は乖離するという前提で運用設計する。

価格モデル

LLM の課金は多軸化している。(1) 入出力 per-token 課金 (USD / M tokens): 出力は概ね入力の 3〜5 倍。(2) Reasoning token 課金: o-series 等で内部 CoT を別枠課金。(3) キャッシュ価格: Anthropic prompt caching、OpenAI cached input。再利用入力に 10〜50% 割引が標準化しつつある。(4) バッチ API: 非同期処理で 50% 程度割引。(5) クラウド経由 vs 直接 API: AWS Bedrock / Azure OpenAI / GCP Vertex AI 経由は同一モデルでも直接 API と価格差があり、SLA・データ常駐要件・契約割引で決まる。together.ai / fireworks.ai / OpenRouter 等のアグリゲータはオープンウェイトのホスティング料金を提供する。本記事は変動する絶対価格を記載しない。本番比較では Artificial Analysis 等で t/s × USD/M-tok × 品質の 3 軸を観測する。

ベンチマーク

評価には共通リスクがある。(a) Contamination (テストの学習データ混入) は全ベンダに該当しうる。MMLU や HumanEval の飽和には contamination 寄与の可能性があり、refresh ベンチでも完全排除はできない。(b) Vendor-reported は独立検証なしで third-party 再現を要する。(c) Prompt engineering で数 % は振れるため few-shot 設定・system prompt・temperature を揃えないと比較が成立しない。

リーダーボード

• LMArena (旧 Chatbot Arena, lmarena.ai): 盲検 pairwise 人間投票を Bradley-Terry Elo に集約。最も広く引用されるが (a) style preference (フォーマット好み・冗長さ) が capability と混同される、(b) prompt 母集団が偏る、(c) 2025-04 上旬の Llama 4 Maverick 論争 — 提出された “Llama-4-Maverick-03-26-Experimental” と公開版チェックポイントが異なるという報道があり、Meta・LMArena 双方が公式声明を出した — を契機に方法論議論が活発化。事実関係のみ記載し意図は推測しない。
• Artificial Analysis (artificialanalysis.ai): 速度 × 価格 × 品質 (MMLU-Pro 等) の 3 軸を可視化、本番運用比較向き。
• Vellum LLM Leaderboard: ベンダ価格と公表ベンチマーク集約。
• OpenRouter usage rankings: 実利用量による相対人気。品質ではなく「選ばれている度」を示す二次指標。
• Hugging Face Open LLM Leaderboard: オープンウェイト限定。v2 で MMLU-Pro / IFEval / BBH / GPQA / MuSR / MATH に refresh された。

複数を併用し、Arena (人間選好) × Artificial Analysis (運用比) × ベンチマーク (特定能力) を交叉確認するのが現実的である。

持続的な傾向

• スケール則 + 訓練データ大幅増: Chinchilla optimal を超えて訓練データを増やす方向 (Llama 3 で 15T トークン)、小サイズモデル (7B 〜 13B) の品質が飛躍。
• MoE の普及: Mixtral (2023-12) を先駆として DeepSeek V2 / V3、Llama 4、gpt-oss 120B など open-weight でも標準化。
• 推論時計算の価値軸化: o-series 以降、訓練計算量だけでなく推論時の reasoning depth が変数として定着。
• Open-weight が closed-API を 6〜12 ヶ月遅れで追跡: 2024-12 時点で open-weight (Llama 3.1 405B / DeepSeek V3) が 2023-11 頃のフロンティア相当に到達と評価。
• マルチモーダル統合度の上昇: 分離エンコーダ → cross-attention adapter → interleave → end-to-end の方向に各家族が進む。
• 中国系オープンウェイトの存在感拡大: DeepSeek (V3 / R1)、Qwen (Alibaba)、Yi (01.AI) が open-weight フロンティアの主要構成員に。

未確認事項と注意点

• ランキング数字は固定値として記載しない。週次・日次で変動するため運用時は lmarena.ai / artificialanalysis.ai を直接参照する。
• 多くのクローズドモデルは構造詳細を非開示。GPT-4 の MoE 構造説、Gemini / Grok 系の詳細はベンダ公式未確認。
• Contamination 問題は全ベンダに該当しうる。refresh ベンチ (MMLU-Pro、SWE-Bench Verified、HLE) でも完全排除はできない。
• LMArena Llama 4 Maverick 論争 (2025-04) は事実関係 (提出版と公開版チェックポイントの相違を双方が声明確認) のみを記載し意図は推測しない。
• “Open source” 主張モデルでも OSI 認定とは限らない。MAU 上限・AUP・出力転用制限などの非 OSI 条項を含むコミュニティライセンスは「open-weight」が正確な表現である。
• Context 長は最大値と effective 値が乖離するため API 仕様と独立評価 (RULER / NIAH / LongBench) の両方を確認する。1M 主張でも 100k 超で精度劣化する場合がある。
• 価格は month-to-month で変動するため絶対値を記載しない。
• 本記事は Pattern C (session context) で執筆され独立 Web 検証が未実施のため confidence: medium。一次資料 (ベンダ公式リリースノート、arXiv 論文、ライセンス本文) との照合は読者側で必要に応じて実施されたい。

Related

• GPT 系（OpenAI） — tech-52
• LLaMA 系（Meta） — tech-53
• Mistral / Mixtral 系 — tech-54
• Transformer — tech-35
• アテンション機構 — tech-38
• Mixture of Experts (MoE) — tech-36
• 出力戦略 — tech-47
• 推論高速化 — tech-46
• 分散学習 — tech-48