GPT 系（OpenAI）

OpenAI の GPT (Generative Pre-trained Transformer) 系は、2018 年の GPT-1 (117M) から 2025 年の GPT-5 / gpt-oss まで、decoder-only Transformer を一貫した骨格としつつ、(1) パラメータと学習トークンのスケール、(2) RLHF によるインストラクション化、(3) マルチモーダル統合、(4) 推論 RL (o-series) の 4 軸で能力を拡張してきた系譜である。本記事はモデル個別の構造ではなく、リリース順の系譜と OpenAI が選択した家族としての設計指針を整理する。Transformer 骨格・トークン化・学習手法の一般論は別記事に譲る。

モデル系譜

各モデルは前世代のアーキテクチャ骨格 (Pre-LN decoder-only Transformer + BPE 系トークナイザ) を踏襲しつつ、訓練データ規模・整合化手段・推論時計算配分のいずれかで非連続な変化を加えている。

RLHF とインストラクション化 (ChatGPT)

GPT-3 (2020) は事前学習のみの基盤モデルで、ユーザの意図に沿った応答を出すかは promptcraft 任せであった。InstructGPT (Ouyang 2022, arXiv:2203.02155) は (1) 人手書きデモンストレーションでの教師あり微調整 (SFT)、(2) 人間選好比較から学習した報酬モデル、(3) KL ペナルティ付き PPO による方策更新、の 3 段で 1.3B モデルが指示追従能力で 175B GPT-3 を上回ることを示した。

ChatGPT (2022-11-30 公開) はこの RLHF パイプラインを GPT-3.5 base に適用した会話プロダクトで、公開後 5 日で 100 万ユーザを記録し、LLM の一般認知を一変させた。続いて gpt-3.5-turbo API (2023-03) が同モデル系を開発者向けに提供し、当初 4k だった context window はその後 16k に拡張された。以降 OpenAI が API/ChatGPT で配布する生成系モデルは、基底ではなく必ず RLHF (またはその後継となる DPO 系・RLAIF) で整合化された状態で出荷されている。

マルチモーダル展開 (GPT-4 → GPT-4o)

GPT-4 (arXiv:2303.08774, 2023-03-14) は GPT 系初のマルチモーダルモデルで、テキストに加えて画像入力を受け付ける。技術報告書は競合上の懸念を理由にパラメータ数・学習データ・構造詳細をいずれも非開示としており、内容のほぼ全てが評価で構成されている。第三者からは 8 専門家 × 約 220B の Mixture-of-Experts (MoE) 構造との報道が複数あるが、OpenAI による公式確認はない。GPT-4 Turbo (2023-11) は 128k context と価格引き下げ、JSON モードを追加した派生である。

GPT-4o (2024-05-13、o は Omni の略) は構造側の再設計で、テキスト・画像・音声・動画を単一モデルがエンドツーエンドで処理する。従来の ChatGPT Voice (音声 → Whisper → GPT-4 → TTS) のパイプライン遅延が解消され、応答速度と価格の両面で GPT-4 Turbo を上回った。GPT-4o mini (2024-07) は低価格帯の既定モデルとして gpt-3.5-turbo を置換し、API の価格構造を再編した。

推論系 (o-series) の登場

o-series は GPT-series とは別系統で、トークン予測精度ではなく、応答前に長い chain-of-thought (CoT) を生成するよう強化学習で訓練された推論特化モデルである。生成された CoT (内部で「reasoning tokens」と呼称) は既定では利用者に表示されないが、入出力トークンとは別枠で課金対象となる新しいコスト次元を導入した。o1-preview (2024-09-12) は競技数学・科学ベンチで GPT-4o を大きく上回り、o1 (2024-12-05) で視覚対応と正式公開を完了した。

命名上、o1 の次は o3 で o2 を欠番としている。市場で広く流通する英国 O2 テレコム商標との抵触回避が理由として報じられているが、OpenAI による公式説明は確認されていない。o3-mini (2025-01) は reasoning effort を low/medium/high の 3 段階で選択でき、費用対品質のチューニングが可能になった。o3 (2025-04) は当時の最高難度推論モデルとして発表され、ARC-AGI ベンチで当時最高水準を主張した。

2025 年: GPT-4.1 / gpt-oss / GPT-5

GPT-4.1 (2025-04) はコーディングと指示追従に最適化された API 専用モデルで、ChatGPT UI には提供されない。gpt-4.1 / gpt-4.1-mini / gpt-4.1-nano の 3 サイズで構成され、最大 1M トークンの context window をうたう (各サイズの具体的な上限は要確認)。nano は超低遅延・低コスト用途を狙った最小派生である。

gpt-oss (2025-08) は GPT-2 (2019) 以来となる OpenAI のオープンウェイト公開である。gpt-oss-20B と gpt-oss-120B の 2 サイズで、いずれも MoE 構造を採る。ライセンスは寛容な OSS ライセンスとされるが、SPDX 識別子 (Apache 2.0 か否か等) と MoE のアクティブパラメータ数は配布ページでの確認が必要である。閉じた基盤モデル提供者だった OpenAI が API 以外の配布形態に戻った点で家族としての方針転換を示す。

GPT-5 (2025-08) は推論系 (o-series) と通常生成系 (GPT-series) を単一モデルが内部でルーティングし、クエリの複雑さに応じて推論深度を自動配分する設計とされる。これは「GPT-4o と o3 のどちらを選ぶか」という利用者側の負担を解消する方向であり、家族としての階層を一段抽象化する。技術報告書は本記事執筆時点で未公開で、構造詳細は製品発表の言明範囲を超えて検証できる材料がない。

持続的な家族特性

• プロンプトによる多様なタスク適応: GPT-1 の fine-tune パラダイムを GPT-3 で in-context learning に置き換え、要約・コード生成・分類など下流製品の前提となった。
• 高精度な自然言語生成: decoder-only 自己回帰生成と BPE 系トークン化、Pre-LN、スケール訓練で、ドメインを跨ぐ流暢で文脈整合的なテキスト生成が一貫した中核能力である。
• マルチモーダル方向への拡張軌跡: GPT-4 で画像入力 (分離エンコーダ)、GPT-4o で音声/画像/動画をエンドツーエンド統合、と段階的に統合度が上がってきた。
• API エコシステムと開発者向け面: 2020 年の GPT-3 API 提供以降、function calling (2023-06)、Assistants API (2023-11)、embeddings、Whisper (ASR)、DALL-E (画像生成) などの周辺製品が同居している。ChatGPT 製品と API は配布チャネルとしてもモデルアクセス方針としても別建てで運用される。
• インストラクション化と整合化を既定とする出荷: InstructGPT 以降、API/ChatGPT に出荷される生成系モデルは RLHF または後継整合化を経た状態が標準で、基底モデルそのままの公開は (gpt-oss を含めて) 例外的である。

未確認事項と注意点

• GPT-4 の MoE 構造は複数の第三者報道があるが、OpenAI による公式確認はなく、技術報告書 (arXiv:2303.08774) も構造に沈黙している。記事内では「報道があるが公式未確認」のスタンスを保つ必要がある。
• o2 欠番の理由として O2 テレコムとの商標衝突が広く報じられるが、OpenAI の公式声明は確認されていない。一次資料ベースでは「公式説明なし」が正確である。
• gpt-oss のライセンス SPDX と MoE 詳細: 寛容ライセンスとの報道はあるが、Apache 2.0 か MIT か独自ライセンスかは配布ページでの最終確認を要する。MoE のアクティブパラメータ数 (推論コスト見積に必須) も同様。
• GPT-5 のアーキテクチャ: 統合ルーティングは製品発表の言明であって、技術報告書による公開仕様ではない。本記事執筆時点で公開された技術文書は限定的である。
• GPT-4.1 の context 上限: 1M トークン context は flagship の数値で、mini / nano が同等とは限らない。実利用前に各サイズの API 仕様の確認が必要である。

Related

• Transformer — tech-35
• Source mindmap canvas