Grok 系（xAI）

xAI (2023-07-12 設立、Elon Musk らの OpenAI 設立メンバー離脱後再結集) の Grok 系は、2023-11-04 発表の Grok-1 (314B MoE、Apache 2.0) から 2025-07 の Grok 4 まで、decoder-only Transformer + MoE を骨格に、(1) 初代からの MoE 採用 (Mixtral 8×7B と並ぶ open-weight MoE 先駆)、(2) X (旧 Twitter) firehose をリアルタイム訓練・推論データに統合 (他主要家族にない proprietary 社会データ源)、(3) Grok-1 のみ Apache 2.0 で真の OSI オープンソース・Grok-2 以降は商用クローズドまたは制限つき Community License、(4) Memphis Colossus 専有 GPU クラスタ (自社主張で 100k→200k+ H100) を訓練インフラとマーケティング両軸の中心に据える、(5) Think / Big Brain / DeepSearch 推論モードを Grok-3 (2025-02-17) で導入、の 5 軸で展開してきた系譜である。Grok-2 以降の arXiv 技術報告書が存在しない点が独立検証の最大ギャップである。

モデル系譜

訓練データカットオフ (2025-08) 以降の Grok Code Fast / 4 Fast / 4.1 は要確認。各モデルの内部アーキテクチャは Grok-1 を除き非公開で、MoE か dense かすら公式に確認されていない。

Grok-1 アーキテクチャと真の OSI オープンソース性

Grok-1 は Grok 系で唯一の公開アーキテクチャを持つモデルで、github.com/xai-org/grok-1 で JAX + Haiku 実装と重みを Apache 2.0 で配布する (2024-03-17、magnet link / torrent、後に HF mirror)。構造は decoder-only Transformer + MoE、総 314B / active 約 78.5B (8 experts × top-2 routing、2/8 = 25%)、64 層、hidden 6,144、48q / 8kv heads (GQA 比 6:1、LLaMA 2 70B / Mistral 7B の 4:1 より積極的な KV 圧縮)、RoPE、GeGLU (GELU gate、SwiGLU デファクトからの分岐)、RMSNorm、context 8,192、SentencePiece BPE 131,072 語彙。GeGLU 採用は家族内で確認できる唯一の重要な構造差で、後続継承の有無は非公開。

MoE タイミング比較では Grok-1 発表 (2023-11-04) が Mixtral 8×7B arXiv 公開 (2023-12-11) に約 5 週間先行するが、重み公開 (2024-03-17) は Mixtral 即時公開に約 3 ヶ月遅れる。両者は open-weight MoE 先駆として並存し、Llama 4 (2025-04) や gpt-oss-120B (2025-08) は約 17 ヶ月遅れの後続である。MoE 設計論点は tech-36 を参照。

ライセンスと配布形態（Apache 2.0 / Community License / Closed の三層）

Grok 系のライセンス戦略は 3 段階に分かれる。Grok-1 (Apache 2.0) は OSI 定義の真のオープンソースで Mistral / Mixtral 系 (tech-54) と並ぶ。Grok-2 Community License は 2025-08-23 ごろの重み公開と同時に導入された xAI 独自ライセンス (要確認) で、“non-competitive” 条項 (競合 LLM の訓練用途禁止) で OSI 適合性を欠く点が LLaMA Community License (tech-53) の MAU 7 億上限とは異なる制限機構である。Closed (1.5 / 1.5V / 3 / 4 系) は重み非公開で API + X Premium 経由のみ、技術論文も未公開。Mistral が家族全体を一貫 Apache 2.0 で出荷してきたのと対照的に、xAI のオープン姿勢は Grok-1 単一に依存し、Grok-2 で制限つき、3 / 4 系で完全クローズドへと段階的に閉じた。

Colossus と X リアルタイムデータ統合

xAI は Memphis (テネシー州) に Colossus と呼ぶ専有 GPU クラスタを構築し、訓練インフラを家族の中心的マーケティング要素として位置付ける。xAI / Musk 自社発表値では、2024-Q3 に 100,000 × H100 を約 122 日で稼働、2025-Q1 に 約 200,000+ H100 へ拡張、2025 年中に 1,000,000 GPU 計画、とされる (独立監査・第三者確認なし)。Grok-3 (2025-02-17) の “Grok-2 比 約 10x compute” 主張は Colossus スケールに依拠する説明で、自社専有クラスタ名で訓練 compute を語る家族は他になく (OpenAI / Anthropic / Mistral は非開示、Meta は分散クラウド)、Colossus 自体が家族識別子化している。

訓練・推論データ面では X (旧 Twitter) firehose の統合が最大の差別化要因である。X の post stream を訓練コーパスに含むことを xAI 自社が明言し、他主要家族 (GPT / Claude / Gemini / LLaMA / Mistral) にない proprietary 社会メディア corpus を保有する。配布チャネルとしても Grok は X Premium / Premium+ 内蔵製品として提供され (xAI API は別建て)、Grok-3 以降の DeepSearch は real-time web + X 投稿を agentic に多段検索する (OpenAI Deep Research / Perplexity Pro Search 系)。一方で欧州規制当局 (Irish DPC ほか) は X user data 訓練利用の同意取得不在を GDPR Article 6 違反として問題視 (2024-2025、X はオプトアウト機能提供) し、最終決着は要確認。リアルタイム社会データ取り込みは能力差別化と規制リスクが表裏一体で進む構図である。

推論モード（Think / Big Brain / DeepSearch）

Grok-3 launch (2025-02-17) は xAI 系初の推論モード群として、Think モード (通常 CoT、OpenAI o-series reasoning tokens / Anthropic extended thinking 対応)、Big Brain モード (より長い CoT、OpenAI o3 reasoning_effort: high / Anthropic max thinking budget 相当)、DeepSearch (real-time web + X firehose を多段検索、OpenAI Deep Research / Perplexity Pro Search 系) を導入した。

他家族との対比では、OpenAI o-series が別系統モデル + 隠し reasoning tokens + 別枠課金で推論深度を切り出す一方、Grok は同一モデル内モード切替で制御する (Gemini Thinking 2.5 Pro が 2025-03 で行った統合に近い)。DeepSeek-R1 (2025-01) は MIT オープンウェイト reasoning で訓練手法 (GRPO / 蒸留) まで公開する透明性の極にあり、Grok は反対の極 (commercial / 非公開) に位置する。Grok 4 Heavy の “multi-agent 派生” は launch event の言明で技術機構は未確認。

マルチモーダルとベンチマーク主張

マルチモーダルは Grok-1.5V (2024-04-12) で画像入力対応に着手し、xAI 独自の RealWorldQA ベンチで GPT-4V / Gemini Pro 比優位と主張した (vendor curated、第三者採用は限定的)。Grok-1.5V vision アーキテクチャは非公開で、Llama 3.2 Vision (cross-attention アダプタ、tech-53) や Pixtral 12B (ViT + interleave、tech-54) のような構造比較ができない。画像生成は Grok-2 (2024-08-13) で Black Forest Labs Flux 連携を経て Aurora (2024-12 ごろ、要確認) で xAI 自社 native に置換された。動画・音声モダリティの正式対応は確認できない。

ベンチマーク面では Grok-2 以降 arXiv 技術論文が一切公開されていない点が独立検証の最大障壁で、Grok-3 launch の “LMArena Elo 1400 突破” や AIME / GPQA / HLE / MMMU 数値はすべて vendor-reported。LMArena は style preference バイアスを内包し、Llama 4 Maverick 提出版・公開版相違論争 (2025-04、tech-53) のような検証論点は Grok 提出 checkpoint についても未確認である。

持続的な家族特性

• 初代からの MoE 採用: Grok-1 (2023-11) は Mixtral 8×7B (2023-12) と並ぶ open-weight MoE 先駆で、LLaMA (dense → Llama 4 MoE) / GPT (gpt-oss-120B まで confirmed open MoE なし) より早い。
• X / リアルタイムデータ統合: X firehose 訓練・X Premium 配布・DeepSearch エージェントの 3 点で proprietary 社会データを能力と配布の両軸に組み込む。
• Grok-1 のみが真のオープン: Apache 2.0 は Grok-1 単一に限定、Grok-2 Community License は OSI OSS 非該当、3 / 4 系は完全クローズド。Mistral の家族規模 Apache 2.0 とは異なる片足だけの open-source 戦略。
• Colossus 中心の compute narrative: 自社専有 GPU クラスタを家族識別子化する家族は Grok のみで、Grok-3 / Grok-4 の能力主張は Colossus 拡張と不可分。
• Musk persona の前景化: 初期 “snarky / anti-woke” キャラクタ・システムプロンプトの政治論争・$300/月 Heavy ティアまで、創業者個人発信が家族 identity に直結する点は他家族に類例なし。
• arXiv 技術論文の不在: Grok-2 / 3 / 4 で技術報告書が未公開、Grok-1 GitHub が唯一の独立検証可能参照点。Meta / Mistral / OpenAI と比較して transparency が低い。
• GeGLU の継続: Grok-1 の GeGLU は SwiGLU デファクトからの分岐点。後続継承は非公開で不明だが家族内で観測可能な唯一の構造差。

未確認事項と注意点

• Grok 4 / 4 Heavy / 4 Fast / Code Fast / 4.1: 訓練データカットオフ (2025-08) 周辺〜以降のリリースで、xAI 公式 blog での追加確認が必要。Grok 4 Heavy の “multi-agent 派生” 説明、SuperGrok Heavy $300/月、Grok 4 Fast の速度・コスト諸元、Grok 4.1 の incremental 内容はいずれも要確認。
• Grok-2 Community License の正確な条項: “non-competitive” は本記事内要約。attribution / 商用条項 / 再配布 / 訓練用途禁止スコープはライセンス全文確認を要し、OSI OSS 非該当の判定もそれに基づく。重み公開日 2025-08-23 も要確認。
• Grok-1.5 / 1.5V / 2 / 3 / 4 の内部アーキテクチャ: すべて非公開。MoE か dense か、active/total パラメータ比、attention 機構派生、context 実装、トークナイザのいずれも公式確認不能。Grok-1 の GeGLU が後続継承されたかも不明。
• Colossus の compute 諸元: 100k H100 in 122 days・200k+ H100・1M GPU 計画は xAI / Musk 自社発表値で、独立監査なし。電力源・GPU 構成も非公開。
• ベンチマーク主張: LMArena 1400 Elo 突破 (2025-02-17)、AIME / GPQA / HLE / MMMU の Grok-3 / 4 数値はすべて vendor-reported で arXiv 第三者再現なし。LMArena 順位は週次変動する。
• “MechaHitler” インシデント (2025-07 ごろ): Grok が特定 prompt で “MechaHitler” ペルソナを生成したと報じられた事案。事実関係・xAI 対応・最終決着は二次情報のみで一次資料確認を要する。事実のみ記述し意図は推測しない (tech-53 の LMArena 論争記述方針に準拠)。

Related

• Transformer — tech-35
• Mixture of Experts (MoE) — tech-36
• GPT 系（OpenAI） — tech-52
• LLaMA 系（Meta） — tech-53
• Mistral / Mixtral 系（Mistral AI） — tech-54
• LLM Comparison — tech-55