パーセプション
自律エージェントの入力層であるパーセプションスタックの全体像。モジュラーから E2E への産業転換、BEV と Occupancy Network、センサートレードオフ、世界モデルと VLM/VLA、主要ピットフォールを 2026 年時点で整理する。
article technology ja 自律エージェントの入力層であるパーセプションスタックの全体像。モジュラーから E2E への産業転換、BEV と Occupancy Network、センサートレードオフ、世界モデルと VLM/VLA、主要ピットフォールを 2026 年時点で整理する。パーセプション
自律エージェント(自動運転車・ロボット・ドローン)の入力層であるパーセプションスタックは、センサー生データから世界モデルを構築し、プランニング層へ渡す処理パイプライン全体を指す。2024 - 2026 年にかけてモジュラー構成からエンドツーエンド(E2E)アーキテクチャへの産業転換が加速し、世界モデルや VLM/VLA との融合が次の主戦場となっている。
モジュラーパイプライン: BEV と Occupancy Network
長年の業界標準は センサー → 前処理 → 検出 / セグメンテーション → フュージョン → 追跡 → 予測 → プランニング という分離型構成だった。各モジュールの責務が明確で、誤動作の原因帰属が容易な点が強みである。
2022 年以降、複数カメラ・センサーを統一座標系に投影する BEV(Bird’s Eye View) 表現が標準化した。代表的アーキテクチャ BEVFormer(Li et al., 2022)は、マルチカメラ特徴を BEV 空間へエンコードする ResNet-101 バックボーン + 6 層エンコーダ(空間クロスアテンション + 時間的セルフアテンション)を採用し、NVIDIA が公式モデルカードを提供している。BEVFusion は LiDAR とカメラを BEV 空間で早期融合する代表例である。
BEV をさらに高さ方向へ拡張した Occupancy Network は、ボクセル単位の占有確率マップを推定する。従来の 3D バウンディングボックス検出と比べ、非構造的障害物(段ボール・落下物)を「物体が存在しない空間」の明示的モデル化として検出しやすい。テスラが 2022 年 AI Day で発表して以降、OccFormer(ICCV 2023)・TPVFormer(CVPR 2023)・OccFeat(CVPR 2024W、DINOv2 特徴蒸留)など学術実装が多数生まれた。ただし 3D ラベル生成コストは 2D bbox 注釈より桁違いに高く、自動ラベリングパイプラインの構築が競争力を左右する。
エンドツーエンドへの転換: 主要プレイヤーの戦略比較
Tesla FSD v12+ は 2024 年に “Photon In, Control Out” の E2E 構造へ完全移行した。8 カメラの生ピクセルを入力とし、ステアリング・アクセル・ブレーキを直接出力する。従来の「知覚 → プランニング → 制御」のモジュール境界と C++ コード約 30 万行を廃止し、48 個の特化型ニューラルネットワークが協調動作する。勾配が全工程を貫通するため、知覚と意思決定の 合同最適化 が可能となった。2025 年 6 月にオースティンで Robotaxi 試験サービスを開始、2026 年初頭に FSD v14 のマルチモーダル大規模モデルアーキテクチャが一部公開されている。
Waymo は 5 LiDAR + 29 カメラ + 6 レーダーの多センサー冗長構成を維持しつつ、Waymo Foundation Model(LLM + VLM ベースのモジュラートランスフォーマー)で基盤モデル化を進める。知覚・予測・意思決定・制御の各サブモデルが連鎖し、2025 年 12 月の “Demonstrably Safe AI” ブログで AI モデル知覚出力の検証アーキテクチャを公開した。漸進的ハイブリッドという戦略上の中庸を取っている。
Wayve は世界モデルによるシミュレーション拡張で差別化する。GAIA-1(2023 年、9B パラメータ)はビデオ・テキスト・アクションを入力とする生成的世界モデルで、稀少・危険シナリオを合成生成してデータセットを補完する。GAIA-2(2025 年)は制御性・地理的多様性・車両バリエーションを大幅強化し、sim-to-real gap の縮小に貢献している。
Mobileye は EyeQ6 SoC を基盤とした垂直統合スタックで、知覚・マッピング・ドライビングポリシーを単一 ECU・単一 SoC に収める。自社設計イメージングレーダーが L3 eyes-off(高速道路の視線不要自動運転)を実現する。
業界の収束方向は「学習可能なコンポーネントの拡大」だが、完全 E2E(Tesla)か段階的学習化(Waymo)かは未決着である。
センサーの特性とトレードオフ
自律システムのセンサー選択は、精度・コスト・環境ロバスト性の三角形でのトレードオフとなる。
| センサー | 強み | 弱み |
|---|---|---|
| カメラ | 高解像度・セマンティクス豊富・低コスト | 照明 / 天候依存、奥行き推定が間接的 |
| LiDAR | 正確な 3D 点群・距離精度高い | 悪天候で減衰、高コスト、点群が疎 |
| Radar | 悪天候に強い・速度計測(ドップラー) | 空間解像度が低い、セマンティクス貧弱 |
| IMU | 高頻度姿勢推定 | 単独使用は累積誤差大 |
Camera-only スタック(Tesla)対 LiDAR 中心スタック(Waymo)の論争は 2024 - 2026 年に深まった。カメラ + LiDAR フュージョンは nuScenes で mAP 95% 超を達成する一方、大規模データとトランスフォーマーモデルの進歩によりカメラ単体でも急速に精度向上している。HD マップ依存についても、Tesla は当初からマップ非依存方針を取り、Waymo も Map-free へ段階的にシフト中である。
センサーフュージョンの層は early(生データレベル)・mid(特徴量レベル)・late(検出結果レベル) の 3 段階に大別され、BEVFusion 系は mid-level の代表例である。
世界モデルと VLM/VLA
パーセプションの次の地平は、単なる状態推定を超えた「未来の状態を予測・生成する内部表現」 = 世界モデルと、Web スケール事前学習を転用する VLM/VLA である。
- GAIA-1 / 2(Wayve): 生成的世界モデル。シミュレーション補完用
- JEPA(Joint Embedding Predictive Architecture)(LeCun et al.): エネルギーベースの抽象的世界モデル。シミュレーション不依存を志向
- Vista(Edinburgh / Oxford): オープンソースの大規模自動運転世界モデル
- RT-2(Google DeepMind, 2023): Web スケール事前学習 VLM からロボット制御への転移学習。未学習タスクへの汎化(emergent reasoning)を実証
- OpenVLA(Kim et al., 2024): RT-2 の 7B パラメータ相当のオープン代替。Prismatic VLM ベース
- π0(pi-zero)(Physical Intelligence, 2024): 汎用ロボット基盤モデル
- 2025 - 2026 年には OmniVLA・ThinkAct・π0.6 など後継モデルが継続的に登場
これらのモデルはロングコンテキスト理解と常識推論をパーセプション層に持ち込み、ルールベースでは扱えなかった曖昧シナリオへの対応を可能にする。一方、推論コスト・遅延・決定論性の要件は車載 ECU では厳しく、エッジ実装にはモデル蒸留・量子化・専用アクセラレータが不可欠である。
主要なピットフォール
ロングテール問題: 通常走行では高精度でも、稀少シナリオ(突然の割り込み・逆走車・施工中道路)で破綻しやすい。訓練データが日常シーンに偏るため、安全クリティカルな外れ値ケースへの対応が不十分になる。世界モデルによる合成データ生成がこの問題への主要アプローチとなっている。
Sim-to-Real Gap: シミュレーターで学習したモデルは現実世界の分布シフトに弱い。特に E2E ビジョンモデルはシーンのテクスチャ粒度要件がシムと現実で大きく乖離する。GAIA-2 のようなフォトリアルな生成シミュレーターと、RALAD(arXiv 2025)のようなドメイン適応手法がギャップ縮小を目指す。
ゴーストブレーキング: 誤陽性検出(実際には存在しない障害物の誤検出)による不必要な急制動。センサーノイズ・強い日差しの反射・影が引き金となりやすく、乗客体験と安全性の両方に悪影響を与える。Camera-only スタックで特に問題となる失敗モードである。
E2E での原因帰属困難: モジュラー構成ではエラーバジェットの帰属が明確だったが、E2E では知覚精度の問題がプランニングへ直接伝播し、誤動作の原因特定が難しくなる。デバッグとリコールの難易度が上がる点は E2E 移行の主要コストの一つである。
LiDAR 依存の過信: LiDAR 搭載スタックは悪天候(濃霧・大雪)で検出精度が著しく低下する。多重冗長センサーは必須だが、コスト・重量・消費電力とのトレードオフが常に存在する。
Billion-mile certification: 統計的に「人間ドライバーより安全」を立証するには 10 億マイル以上の運用データが必要とされる。シミュレーション補完なしでは現実的に達成不能で、世界モデルベースの大規模合成評価が事実上の標準になりつつある。
二言語用語対照表
| 日本語 | English |
|---|---|
| パーセプション | Perception |
| 自律システム | Autonomous System |
| センサーフュージョン | Sensor Fusion |
| エンドツーエンド | End-to-End (E2E) |
| 鳥瞰図表現 | Bird’s-Eye View (BEV) |
| 占有グリッド | Occupancy Network / Grid |
| 世界モデル | World Model |
| ロングテール問題 | Long-tail Problem |
| 実世界乖離 | Sim-to-Real Gap |
| 誤陽性検出 | Ghost Braking |
| 視覚言語モデル | Vision-Language Model (VLM) |
| 視覚言語行動モデル | Vision-Language-Action (VLA) |
参考文献
- Li, Z., et al. (2022). “BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers”. ECCV 2022
- NVIDIA. (2024). BEVFormer Model Card. https://build.nvidia.com/nvidia/bevformer/modelcard
- Tesla. (2022). AI Day Occupancy Network presentation
- TPVFormer. (CVPR 2023). https://github.com/wzzheng/TPVFormer
- ThinkAutonomous. (2024). “Tesla’s Shift to End-To-End Deep Learning”. https://www.thinkautonomous.ai/blog/tesla-end-to-end-deep-learning/
- Waymo. (2024). “AI & ML at Waymo”. https://waymo.com/blog/2024/10/ai-and-ml-at-waymo/
- Waymo. (2025). “Demonstrably Safe AI for Autonomous Driving”. https://waymo.com/blog/2025/12/demonstrably-safe-ai-for-autonomous-driving/
- Wayve. (2023). “Scaling GAIA-1: 9B World Model”. https://wayve.ai/thinking/scaling-gaia-1/
- Wayve. (2025). GAIA-2 release. https://wayve.ai/science/gaia/
- Kim, M., et al. (2024). “OpenVLA: An Open-Source Vision-Language-Action Model”
- MDPI Sensors. (2025). “A Review of Multi-Sensor Fusion in Autonomous Driving”
- arXiv:2501.12296. (2025). “RALAD: Bridging Sim-to-Real Gap”
- arXiv:2603.16050. (2026). “Era of End-to-End Autonomy”
- BasicAI. (2025). “AV 3.0: How Large Models Transform Autonomous Driving”
Backlinks
No backlinks yet