DeepSeek 系（V3 / R1 + MLA / DeepSeekMoE / GRPO）

杭州深度求索 (DeepSeek、設立 2023-04〜07、要確認) は中国量子化ヘッジファンド High-Flyer (幻方量化) AGI 部門スピンオフで、梁文锋 (Liang Wenfeng) が自己資金で運営する点で主要 LLM ラボと根本的に異なる。(1) 外部 VC ゼロ + 自社 A100 約 1 万枚 (規制前確保)、(2) MLA + DeepSeekMoE + aux-loss-free + MTP + FP8 スタックを V2 (2024-05) → V3 (2024-12-26) で確立、(3) R1 / R1-Zero (2025-01-20、MIT、arXiv:2501.12948) + GRPO で訓練手法フル公開のオープン推論ブレークスルー (closed o-series tech-52 対比)、(4) ライセンス二層 (R1+distill=MIT、V2/V3=Model License 用途制限あり)、(5) コスト効率 narrative ($5.576M V3 + 2025-01-27 NVIDIA 約 17$600B 急落 + H800 export-control)、(6) 地政学的二重性 (hosted 検閲 vs MIT local 無検閲、米欧亜政府デバイス禁止、Liang–習近平面会 2025-01-20 報道)、の 6 軸で Qwen (tech-57) と並ぶ中国 open-weight 双璧として整理。

会社と資金構造

High-Flyer / 幻方量化 は浙江省杭州の量子化ヘッジファンド、2021〜2022 年に米国輸出規制前に確保した A100 約 1 万枚 (要確認) が訓練インフラ基盤。独立法人化 2023-04〜07 (要確認)、GitHub/HF deepseek-ai。外部 VC ゼロ + 自己資金運営は OpenAI (MSFT) / Anthropic (Amazon+Google) / xAI / Baidu / Alibaba (Qwen tech-57) / Tencent 直系のいずれとも異なる。Liang–習近平面会 (2025-01-20、R1 公開日と同日) は国家関係の象徴的事案で、中国国家情報法 (2017) 下の論点と並存。

モデル系譜

日付・パラメータ・ライセンス・distill Llama base (3.1/3.3) / Janus MIT は要確認。

アーキテクチャ革新

MLA + DeepSeekMoE + aux-loss-free + MTP + FP8 の 5 点スタックが他家族との差別化軸。

• MLA — KV を直接保存せず低ランク射影 latent (V2 で 512-dim) のみ保存、推論時 up-projection で K/V 復元、KV キャッシュ約 93% 削減主張、位置 enc は decoupled RoPE。GQA/MQA と別系統。
• DeepSeekMoE (arXiv:2401.06066) — shared experts + fine-grained segmentation で Mixtral top-2/no shared (tech-54) と決定的に異なる。V2: 64+2/top-6、V3: 256+1/top-8 (active 比率 V2 ~8.9% → V3 ~5.5%、要確認)。Qwen1.5-MoE-A2.7B (2024-03-28) も同概念だが影響関係は公式言明なし (DeepSeek 約 2.5 ヶ月先行)。
• Aux-loss-free Load Balancing (V3、arXiv:2412.19437) — auxiliary loss を廃止し routing score に動的 bias term を online 更新、メイン損失との競合を排除。
• MTP — 複数トークン先同時予測の追加 loss (Meta arXiv:2404.19737)、V3 は 1 追加 head、訓練時のみ。
• FP8 Training — V3 が production スケール FP8 混合精度を主体採用した最初の major モデル主張 (要確認)、E4M3、critical layers のみ BF16、BF16 比メモリ約 50% 削減。

R1 と推論ブレークスルー

R1 / R1-Zero (2025-01-20、MIT、arXiv:2501.12948) は OpenAI o1 (2024-09-12) から約 4 ヶ月で open-weight comparable reasoning を達成。核心は GRPO (DeepSeekMath arXiv:2402.03300 初出) で、PPO の critic を廃止しグループ内複数サンプルで相対 reward (reward_i − mean) / std を計算、大規模 RL を現実的にする。報酬は rule-based (数学/コード binary、think タグ) 中心で preference reward model 不使用、scaling 容易。

R1-Zero は SFT なしで V3 base に直接 GRPO 適用、長い CoT が自発的出現 (“aha moment”) するが CoT 中英混在・繰り返し多い課題。R1 は 4 段で解決 — (1) Cold-start SFT、(2) GRPO 1、(3) Rejection sampling + SFT、(4) Final GRPO。

R1 Distill 6 種は Qwen2.5 (1.5/7/14/32B) + Llama 3.1/3.3 (8/70B、要確認) base に R1 trace を教師 SFT 蒸留、すべて MIT (Qwen License 継承要確認)。32B 蒸留が o1-mini 超え vendor-reported、AIME 2024 R1 約 79.8% vs o1 約 79.2%、MATH-500/Codeforces/GPQA Diamond フロンティア水準 (要確認)。

ライセンス

「DeepSeek is open source」は R1 については正確、V3 については不正確。

DeepSeek Model License は商用可だが軍事/監視/違法/競合 LLM 訓練禁止の RAIL-style 傾向 (要確認) で OSI 非認定。Mistral Apache 2.0 (tech-54) / LLaMA Community (tech-53) / Qwen 二層 (tech-57) / Grok-1 Apache 2.0 (tech-56) の中で R1=MIT は主要フロンティア家族中で最も permissive。

コスト効率と H800

V3 訓練 $5.576M USD** (2.788M H800-h ×$2/hr、arXiv:2412.19437) は GPT-4 推定 $100M / Gemini Ultra 推定$191M (要確認) の 約 1/20〜1/30。ただし最終 run のみ**で ablation / R&D / 人件費 / H800 資本コストを含まない点を論文も認める。MLA + FP8 + aux-loss-free が実質的効率改善要因。

Nvidia H800 は H100 から NVLink 帯域削減 (約 600 → 400GB/s、要確認) した中国向け規制対応版、DeepSeek の通信最適化は H800 制約への適応とも解釈可能。2023-10 BIS が H800 も規制追加、DeepSeek は規制前在庫で訓練と報道。2025-01-27 NVIDIA 約 17% 下落 / 約 $600B 消失 (要確認)、Jevons の逆説の counter-argument も並存。

配布とエコシステム

DeepSeek API (OpenAI 互換、per M tokens、2025-01、要確認): V3 ~$0.27/$1.10/cache ~$0.07、R1 ~$0.55/$2.19/$0.14。同時期 GPT-4o ($5/$15) / Claude 3.5 Sonnet ($3/$15、tech-58) / Gemini 1.5 Pro ($3.50/$10.50、tech-59) と 10〜50 倍安い。Prompt Cache でヒット時入力約 1/4。

第三者ホスティングは MIT weights のため広範 — OpenRouter / Fireworks / Together / DeepInfra / SiliconFlow / Groq / Replicate、AWS Bedrock / Azure AI Foundry (要確認)。ローカルは llama.cpp GGUF で distill Q4_K_M が consumer GPU 動作、ollama run deepseek-r1:7b で家庭 PC まで拡大、フル R1 671B 4bit は ~400GB+ 必要。

DeepSeek Chat (chat.deepseek.com / iOS / Android) は無料で ChatGPT Plus / Gemini Advanced / Claude Pro ($20/月) と価格で真っ向勝負、2025-01-27 ごろ米 App Store 無料 1 位 (要確認)。R1 の thinking ブロック折りたたみ可視化は o1 非表示 (tech-52) と対照的で Claude Extended Thinking / Gemini 2.5 Pro Thinking と同方向。

地政学と検閲

hosted API の検閲と MIT weights ローカル実行の無検閲が技術的に分離されている点が重要。chat.deepseek.com / API では天安門 / 台湾独立 / チベット・新疆 / 習近平批判 / 法輪功で拒否・政府寄り回答・話題転換が観察 (独立報告、要確認)。hosted 版はシステムプロンプト + 追加 SFT/RLHF だが weights レベルでは検閲が適用されていないとの報告 (要確認) があり、OSS は「検閲のない R1」ローカル実行を選択。

各国規制 (2025-01-27 以降、すべて要確認): イタリア Garante (App Store 一時削除 2025-01-29) / 韓国・台湾・豪州 (政府デバイス制限) / 米諸州 (NY/TX/VA) / 米連邦 (安全保障審査) / 米海軍。

国家情報共有義務論点 — 中国国家情報法 (2017) + Liang–習近平面会 (2025-01-20) を国家親密性の示唆と読む解釈 vs 他中国民間企業家も同種会合に出席する反論が並存。API データ移転リスクも残る。hosted 検閲 vs local 無検閲 + 国家関係論点の地政学的二重性は Qwen (tech-57) と並ぶ中国系 open-weight の特徴で、GPT/Claude/Gemini/LLaMA/Mistral/Grok にない。

シブリング記事

Transformer (tech-35) = requires、MoE (tech-36) = related。GPT (tech-52) は closed reasoning (o1/o3) vs open-weight challenger。LLaMA (tech-53) は R1 Distill の Llama base + ライセンス対比。Mistral/Mixtral (tech-54) は Apache 2.0 MoE sibling、top-2 vs shared+fine-grained。LLM Comparison (tech-55) は本記事と内部整合。Grok (tech-56) は訓練透明性対比。Qwen (tech-57) は最重要 sibling — Qwen2.5 base distill、shared-expert 類似 (DeepSeek 約 2.5 ヶ月先行)、QwQ-32B-Preview (2024-11-28) が R1 より約 1.5 ヶ月先行の open-weight long-CoT。Claude (tech-58) は Extended Thinking (2025-02-24) vs R1 (MIT+GRPO 全公開) の透明性対比。Gemini (tech-59) は TPU vs H800 対比。Perplexity (tech-60) は Sonar Reasoning R1 蒸留ベース推定。

未確認事項と注意点

• 会社・モデル: Liang Wenfeng 肩書き / 法人設立日 / V2・V3 expert 構成と 14.8T / distill Llama base。
• アーキテクチャ・R1: MLA 93% 出典 / latent 512 / aux-loss-free arXiv / MTP head / FP8 層選択 / GRPO 数式 / AIME 数字 / Qwen2.5 distill の Qwen License 継承 / Sonar Reasoning が R1 蒸留かの公式言明。
• ライセンス・コスト・価格: Model License 競合 LLM 訓練禁止条項 / Janus ライセンス / $5.576M /$2/hr 出典 / H800 NVLink / 2023-10 規制発効日 / API 価格 / Bedrock・Foundry 追加時期。
• 情報カットオフ 2025-08: それ以降は 2026-05 時点で要確認、confidence: medium 固定。

Related

• Transformer — tech-35
• Mixture of Experts — tech-36
• GPT 系（OpenAI） — tech-52
• LLaMA 系（Meta） — tech-53
• Mistral / Mixtral 系（Mistral AI） — tech-54
• LLM Comparison — tech-55
• Grok 系（xAI） — tech-56
• Qwen 系（Alibaba Cloud / DAMO Academy） — tech-57
• Claude 系（Anthropic） — tech-58
• Gemini 系（Google DeepMind） — tech-59
• Perplexity AI — tech-60