Mistral / Mixtral 系（Mistral AI）

Mistral AI（パリ、2023-05 設立、元 DeepMind の Arthur Mensch・元 Meta FAIR の Guillaume Lample / Timothée Lacroix）の Mistral / Mixtral 系は、2023-09-27 の Mistral 7B から 2025 系の Magistral / Devstral まで、decoder-only Transformer + SWA + GQA + RoPE + SwiGLU を骨格に、(1) Apache 2.0 の真の OSI オープンソース配布、(2) open-weight MoE (Mixtral 8×7B) の先駆、(3) オープン + 商用の二本立て、(4) 特化モデル群の並走、の 4 軸で展開した系譜である。

モデル系譜

各リリースは前世代の primitives (decoder-only + SWA + GQA + RoPE + SwiGLU) を踏襲し、ライセンス・モダリティ統合・特化方向のいずれかで非連続な変化を加える。Codestral Mamba のみが家族内唯一の非 Transformer (Mamba SSM) で、以降の主力には不採用の実験的側線。

Mistral 7B と SWA / GQA の早期採用

Mistral 7B (arXiv:2310.06825、2023-09-27) は Apache 2.0 の初代モデルで、(a) SWA を W=4,096 で 32 層に積み層跨ぎ受容野を約 131k トークン相当まで広げる、(b) GQA (32 query / 8 KV heads) を 7B に先行採用、の二点が論文の構造主張である。LLaMA 2 が GQA を 70B のみに適用したのと対照的に Mistral は 7B 帯から KV キャッシュ最適化を組み込んだ。LLaMA 2 7B / 13B を多くの標準ベンチで上回ると主張し、Apache 2.0 と相まって open-weight 7B 帯のデファクトベースラインとなった。

Mixtral 8×7B と open-weight MoE の先駆性

Mixtral 8×7B (arXiv:2401.04088、2023-12-11) は系譜上初の MoE であり、open-weight として広範展開された最初の MoE LLM である。各 Transformer 層の FFN を 8 つの expert FFN に置き換え、ルータがトークンごとに上位 2 つを選択する (top-2 routing)。活性 約 12.9B / 総 約 46.7B で、推論コスト 13B 級 dense 相当ながら 46.7B 相当の表現容量をもつ。Attention 層 (SWA + GQA + RoPE) は Mistral 7B 踏襲、context 32,768、Apache 2.0。Mixtral 8×22B (2024-04-17) は 8 experts × 22B、active 約 39B / total 約 141B (要確認)。Mixtral は open-weight MoE として DeepSeek-V2 (2024-05) より約 5 ヶ月、Llama 4 (2025-04) より約 16 ヶ月先行する。MoE 設計論点は tech-36 を参照。

Mistral Large と商用ラインの分岐

Mistral Large 初代 (2024-02-26) は Mistral 初の商用 closed モデルで、同日に Microsoft Azure 配布発表と約 €15M 戦略投資が報じられた (金額は二次情報)。Apache 2.0 路線と並走する形で Mistral Commercial License の閉モデル系列 (Small / Medium / Large、後の Pixtral Large、Saba、OCR、Medium 3、Magistral Medium) が確立された。Mistral Large 2 (2024-07-24、123B dense、context 128k) は MRL (研究目的のみ) で、open-weight 配布だが OSI 定義の open-source ではない点で Apache 2.0 系と峻別される。open / commercial はモデル単位で判断される。

特化モデル群 (Codestral / Mathstral / Pixtral / Magistral / Devstral)

Mistral は汎用モデルと並行して特化モデルを継続投入する。Codestral 22B (2024-05-29) はコード特化、FIM 事前学習、当初 MNPL (非商用)。Codestral Mamba 7B (2024-07-16) は家族内唯一の非 Transformer で、Mamba 選択的状態空間モデル (Gu & Dao 2023) を採用したが以降の主力には不採用。Mathstral 7B (2024-07-16) は数学推論特化、Apache 2.0。Pixtral 12B (2024-09-17) は専用 ViT 系 encoder + Nemo 12B デコーダ構成で画像・テキストを interleave する。GPT-4o の単一モデル統合型 (tech-52) より LLaVA 系アダプタ接続型に構造的に近いが、Mistral 公式は共同訓練を主張する (技術報告書未公開)。Pixtral Large (2024-11-18) は Mistral Large 2 ベースの商用閉モデル。Magistral (2025-06 系) は推論 RL 特化派生で Small が Apache 2.0・Medium が商用。Devstral (2025-05-21 系) は All Hands AI 協業のエージェント型コーディング特化で SWE-bench 性能を訴求 (詳細要確認)。

Mistral Nemo 12B と Tekken トークナイザ

Mistral Nemo 12B (2024-07-18) は NVIDIA との共同開発で、開放ベースラインを 7B から 12B に更新した。最大の構造変更は Tekken トークナイザで、Mistral 7B / Mixtral 系の 32,000 語彙 SentencePiece BPE から 131,072 語彙の多言語 BPE に約 4 倍拡張された。100+ 言語を対象とし、非ラテン文字 (CJK・アラビア語・キリル文字) のトークン効率と多言語品質を大幅改善する。Tekken は Nemo 以降のオープン系全モデル (Pixtral、Ministral、Small 3、Magistral Small 等) で採用され家族内 de facto 標準となった。Ministral 3B / 8B (2024-10-16) はエッジ向け派生で Tekken と interleaved SWA を継承する。

ライセンス構成

LLaMA Community License (tech-53) との対比が家族としての最大の差別化点で、Mistral の Apache 2.0 リリースは MAU 上限・AUP なし、改変・再配布・商用利用すべて自由で法務審査・派生モデル構築の障壁が低い。LLaMA Community License が open-weight 止まり (OSI 非該当) なのに対し、Mistral の Apache 2.0 リリース群は OSI 認定済みの真のオープンソースである。

持続的な家族特性

• Apache 2.0 デフォルトの真の OSI オープンソース: open-weight リリースは原則 Apache 2.0 で MAU 上限・AUP なし。LLaMA Community License (tech-53) との最大差別化点。
• 欧州 AI 主権ポジショニング: パリ本社、EU パートナーシップ、GDPR 整合の訴求、EU AI Act 策定議論への参加。Azure / Bedrock 配布を並行しつつ欧州由来のガバナンスを家族ナラティブの中核に据える。
• SWA + GQA + RoPE + SwiGLU の構造的定番化: Mistral 7B から一貫採用、Nemo 以降は interleaved SWA に進化。GQA を 7B 帯に先行採用した点は当時の差別化要素で、後に LLaMA 3 全サイズ GQA で業界標準化された。
• open-weight MoE の先駆: Mixtral 8×7B (2023-12) は DeepSeek-V2 (2024-05)・Llama 4 (2025-04) より先行した最初の広範普及事例で、top-2 routing + 8 experts の設計は後続 open-weight MoE の出発点となった。
• オープン + 商用の二本立て: 2024-02 以降、Apache 2.0 でエコシステム形成、Mistral Commercial の closed API (Large / Medium 3 / Magistral Medium / Saba / OCR / Pixtral Large) を収益源とする。
• 特化モデルの並走文化: Codestral・Mathstral・Pixtral・Saba・Magistral・Devstral など特化モデルを汎用モデルと並列に継続投入する。
• アーキテクチャ実験を open release で実施: Mamba SSM、interleaved SWA、Tekken、Pixtral の共同訓練主張など、構造実験を製品リリースとして公開する。LLaMA 系の保守的な構造踏襲と対照的。

未確認事項と注意点

• Mixtral 8×22B の active / total: 約 39B / 約 141B は二次情報源で広く引用されるが、一次資料での確定が必要。
• クローズドモデルのパラメータ数: Mistral Large 初代・Pixtral Large は公式非公開で二次情報源の推定値のみ。
• Magistral / Devstral の詳細: VivaTech 2025 / All Hands AI 協業の発表だが、パラメータ数・最終ライセンス・公開日は要確認。
• 2025-09 以降のリリース全体: リサーチカットオフは 2025-08 周辺。最新は mistral.ai/news/ で要確認。
• Ministral 3B のライセンス: 情報源で MRL と Apache 2.0 が分かれ、HuggingFace 要確認 (8B は Apache 2.0 確定)。