Qwen 系（Alibaba Cloud / DAMO Academy）

Alibaba Cloud / DAMO Academy が 2023-08 に Qwen-7B / Qwen-VL を公開して始まる Qwen (通义千问) 系は、Qwen3 / Qwen2.5-Omni / QwQ-32B まで decoder-only Transformer + RMSNorm + SwiGLU + RoPE + GQA を骨格に、(1) Apache 2.0 (小〜中) と Tongyi Qianwen License (フラッグシップ、MAU 1 億閾値) の二層ライセンス (LLaMA Community License MAU 7 億 tech-53 より低閾値、0.5B〜32B を真の OSI OSS 配布)、(2) Qwen1.5-MoE-A2.7B (2024-03-28) からの shared-expert MoE (Mixtral top-2 sparse tech-54 と異なり DeepSeek-MoE 2024-01-11 と同種)、(3) Qwen-VL → Qwen2-VL (M-RoPE / Naive Dynamic Resolution) → Qwen2.5-Omni の段階的マルチモーダル統合、(4) Coder / Math / QwQ の三本専門線 (QwQ-32B-Preview 2024-11-28 が DeepSeek-R1 2025-01-20 より約 1.5 ヶ月先行)、(5) ModelScope 第一窓口 + HF ミラー + DashScope API + Qwen Chat の中国エコシステム、の 5 軸で展開した DeepSeek と並ぶ中国系 open-weight 代表格。

モデル系譜

カットオフ (2026-01) 境界の Qwen3 / Qwen2.5-Omni / Turbo は最終仕様要確認。HF config.json を一次資料とし、本表は arXiv + model card 由来。

アーキテクチャ — LLaMA / Mistral 同族基幹と Qwen 独自要素

Qwen 全体は decoder-only Transformer + RMSNorm + SwiGLU + RoPE + GQA で LLaMA (tech-53) / Mistral (tech-54) と同系統 (Grok-1 GeGLU tech-56 と対照的に SwiGLU 継承)。家族独自要素は 3 点。トークナイザは Qwen-1/1.5 が cl100k_base 互換 BPE 拡張で語彙 151,646、Qwen2/2.5 で 151,643 / 152,064、中文・日韓・アラビア語 multi-byte UTF-8 直接エンコード設計は Mistral Nemo Tekken (tech-54) や LLaMA 3 (tech-53) と並ぶ多言語効率訴求点。GQA 比率は Qwen2/2.5 7B が 28q / 4kv (7:1) と Mistral 7B / LLaMA 3 8B (4:1) より積極的、72B は 64q / 8kv (8:1)、Qwen1 7B は MHA 出発で Qwen2 以降全面 GQA 化。コンテキスト長は 8,192 → 32,768 → 131,072 → 1,000,000 (Qwen2.5-Turbo API 限定) と段階拡張、Qwen1.5 以降は YaRN / Dynamic NTK 推定。effective context と宣言値の乖離は tech-55 参照。

MoE — Mixtral とは異なる shared-expert 系統

Qwen の MoE は Mixtral (top-2 sparse, shared なし, tech-54) と異なり DeepSeek-MoE (arXiv:2401.06066, 2024-01-11) の shared experts + fine-grained 分割に近い。Qwen1.5-MoE-A2.7B (2024-03-28) は総 約 14.3B / active 約 2.7B (60 routing + 4 shared、top-4)、DeepSeek-MoE に約 2.5 ヶ月後発 (独立か追随かは公式言明なし)、Qwen-7B dense 同等品質を 1/3 active で達成と主張。Qwen2-57B-A14B (2024-06-06) は総 57B / active 14B。Qwen2.5-Max (2025-01-29) は API 専用で諸元非公開。Qwen3-30B-A3B / 235B-A22B (2025-04) が Qwen3 MoE 本格展開、235B-A22B は active 約 9.4% (Mixtral 25% / DeepSeek-V3 5.5% / Llama 4 Maverick 4.25% の中間)。DeepSeek-V2 (2024-05) 大規模 shared-expert MoE 確立前に Qwen1.5-MoE が同コンセプト open-weight 公開した時系列は要記録。MoE 一般論は tech-36。

ライセンス — Apache 2.0 と Tongyi Qianwen License の二層構造

Qwen ライセンス戦略は二層構造。Apache 2.0 (OSI 真の OSS) 適用は Qwen-7B (2023-09 以降) / Qwen1.5 大半 / Qwen2 の 0.5B-1.5B-7B / Qwen2.5 の 0.5B〜32B / Qwen2.5-Coder 全サイズ / QwQ-32B / Qwen3 大半 (改変・商用・再配布可)。Tongyi Qianwen License (OSI 非該当) は 72B 系・Max などフラッグシップ独自で商用可だが MAU 1 億 (100M) 超で追加商用ライセンス必要 — LLaMA Community License (MAU 7 億, tech-53) より約 7 倍低閾値。競合 LLM 訓練禁止条項 (Grok-2 “non-competitive” tech-56 同種) の有無は要確認。家族間比較は tech-55 参照。Qwen は Mistral 全面 Apache 2.0 (tech-54) より制限的、LLaMA (tech-53) より MAU 閾値は低いが Apache 2.0 範囲はより広く、Qwen2.5-72B dense が Apache 2.0 ならフラッグシップを真の OSS 出荷した家族として LLaMA より open。

配布 — ModelScope 第一窓口の中国エコシステム

Qwen 配布の差別化点は ModelScope (modelscope.cn) を第一公開窓口とし HF より先または同時公開する点 (training-data-cited)。HuggingFace (huggingface.co/Qwen) はミラー兼国際窓口。プロプライエタリは Alibaba Cloud Model Studio / DashScope API で Qwen2.5-Max / Plus / Turbo 等の API 専用 + 1M context。Qwen Chat (chat.qwen.ai) がエンドユーザ製品。第三者配布は ollama / vLLM / Together AI / Fireworks AI / OpenRouter / LM Studio / llama.cpp GGUF と LLaMA 系同等。

マルチモーダル — Qwen-VL から M-RoPE、Omni へ

Qwen-VL (2023-08-24, arXiv:2308.12966) は ViT + cross-attention adapter + Qwen-7B decoder で 448×448 固定、Llama 3.2 Vision (tech-53) 類似の初期設計。Qwen2-VL (2024-09) で家族独自二技術 — Naive Dynamic Resolution (任意解像度を可変 vision tokens にパッキング) と M-RoPE (テキスト 1D / 画像 2D / 動画 3D 統一 RoPE)。Qwen2.5-VL (2025-01) はタイムスタンプグラウンディング + 1 時間超動画対応主張。Qwen2.5-Omni-7B (2025-03) は text + image + audio + video 4 モダリティ統合で Thinker-Talker アーキテクチャ (Thinker 処理と Talker 音声生成分離) を採り GPT-4o (tech-52) への回答。Qwen-Audio / Qwen2-Audio-7B は Whisper 系 encoder + Qwen decoder。tech-55 統合度ラダーで Qwen は Dynamic Resolution + M-RoPE 独自軸を加え Omni で end-to-end 到達。

専門化モデル — Coder / Math / QwQ 三本柱

Qwen2.5-Coder (2024-09〜11) は 0.5B〜32B の 6 サイズ、FIM 訓練、全 Apache 2.0、32B が HumanEval ~90% 超 + SWE-Bench Verified 評価、context 128K — Codestral 22B (tech-54) と並ぶ open-weight code 代表格。Qwen2.5-Math (2024-09) は 1.5B / 7B / 72B で Tool-integrated reasoning (Python インタープリタ等を推論中使用) 組み込み訓練、MATH / AMC / AIME 評価 — Mathstral 7B (tech-54) と並ぶ open-weight 数学専門系。

QwQ-32B-Preview (2024-11-28) は Qwen2.5-32B ベースの long-CoT reasoning で DeepSeek-R1 (2025-01-20 arXiv) より約 1.5 ヶ月先行した open-weight reasoning 公開例 (preview には言語切替・ループ問題ありと公式 blog 注記)。QwQ-32B (2025-03) 正式版は Apache 2.0、AIME / MATH で DeepSeek-R1 競合主張、RL は GRPO 系または類似と推定。OpenAI o-series (tech-55) と対比し QwQ は同一 open-weight で long-CoT 全公開する透明性極で DeepSeek-R1 (MIT) と並ぶ。

訓練データと中国 open-weight 双璧ポジショニング・規制

Qwen2 / Qwen2.5 は 18 兆トークン 訓練主張 (vendor-reported, 2024-09) で LLaMA 3 (15 兆, tech-53) 超主張だが独立検証困難。言語構成は中文・英文・コード + 30+ 言語。GPU インフラは Alibaba Cloud 自社クラスタ推定、xAI Colossus (tech-56) のような具体公表はない。中国 open-weight 双璧として最大サイズは DeepSeek-V3 (671B-A37B MoE) > Qwen3-235B-A22B ≈ Qwen2.5-72B、DeepSeek が単一フラッグシップ大規模 MoE、Qwen が dense + MoE + 専門化の幅広い戦略の対比。LMArena では上位常連 (Llama 4 提出版・公開版相違論争 tech-53 同種の論点は Qwen にも理論上ありうる)。

規制面では 中国 CAC + 米国輸出規制の二重制約下。中国 CAC「生成式人工智能服务管理暂行办法 (2023-07)」対象として国内向けはコンテンツ審査・アルゴリズム登録義務、海外 open-weight 配布の適用範囲は法的グレーゾーン。米国輸出規制では Alibaba は EAR / BIS 規制下、2023-10 強化以降 H800 も禁止で GPU 調達への影響進行中。DeepSeek と異なり Qwen は Alibaba 大企業 + Alibaba Cloud + DashScope API 商業統合の出自構造。

未確認事項と注意点

• Tongyi Qianwen License: MAU 1 億の正確値、全文 URL、競合 LLM 訓練禁止条項 (Grok-2 同種) の有無
• Qwen2 / 2.5 トークナイザ語彙: 151,643 か 152,064 か
• Qwen3 全シリーズ: リリース日・パラメータ・ライセンス・“thinking mode” 有無
• Qwen2.5-Turbo 1M context: API 専用か重み公開か、RoPE 拡張方式
• Qwen2.5-Max: パラメータ・MoE 構造 (非公開)
• Qwen2.5-Omni: launch 日と Thinker-Talker 詳細
• QwQ-32B-Preview ライセンス全文 と QwQ-32B の RL 手法 (GRPO か独自か)
• Qwen2.5-Math-72B ライセンス
• Qwen2-VL の M-RoPE 論文 arXiv 番号
• Qwen1.5-MoE と DeepSeek-MoE の設計影響関係 (時系列 2.5 ヶ月後発確定、影響は公式言明なし)
• 18 兆トークン主張の独立検証可否
• Alibaba H800 禁止以降の訓練クラスタ構成
• 中国 CAC 規制の海外 open-weight 配布への適用範囲
• LMArena 提出 checkpoint と公開版の同一性 (Llama 4 論争 tech-53 同種、具体事例未確認)

confidence: medium は情報カットオフ ~2025-08 で固定（2026-05 時点での外部再検証は未実施）。