Edge Inference（エッジ推論）

エッジ推論はモデルをデバイス上で走らせる配置ディシプリンで tech-69 クラウドサービングと対をなす。フォーマット tech-77、変換 tech-76、圧縮 tech-79 に集約し本稿は重複しない。真エッジ／ニアエッジ・ランタイム・NPU・量子化・KV 制約・ハイブリッド (Apple PCC)・規制ドライバ・10 アンチパターン・2026 フロンティアを統合。訓練 ~2025-08 依存で confidence: medium 固定、未確認は [VERIFY]。

真エッジとニアエッジ

電源・接続性・熱予算で区分。真エッジ = バッテリー + 断続接続: スマホ (iPhone A17/A18・Pixel 9・Galaxy S25) ~5W/6–12 GB、ラップトップ (M4 MacBook Pro・Copilot+ Surface・Lunar Lake) 10–30W/16–96 GB、MCU (STM32+Ethos-U55・ESP32-S3・Coral) ~1W/256 KB–8 MB。ニアエッジ = 固定電源 + ネット境界: Jetson Orin (産業)、Drive Orin / Qualcomm Ride (車載)、AWS Outposts / Azure Stack Edge / IGX (5G MEC・オンプレ)。ニアエッジは TensorRT+JetPack 6 等クラウド近接スタックを使え、真エッジは Jetsam 圧力・無線変動・熱スロットルを設計に織り込む。

ランタイムスタック

ランタイム × フォーマット × HW (詳細 tech-77/tech-76):

フォーマットは Apple/Android/Windows/Linux で分断、ONNX は中継ハブだが op カバレッジは EP 依存 (AP-2)。

NPU・アクセラレータ景観

モバイル NPU (全て [VERIFY]): Apple ANE A17 Pro / M4 ~38 TOPS (Core ML 経由のみ)、Hexagon V75 (8 Gen 3) ~45 TOPS / 8 Elite ~45–75 TOPS、Snapdragon X Elite ~45 TOPS、Intel Lunar Lake ~48 TOPS (Meteor Lake ~11 TOPS)、AMD XDNA2 ~50 TOPS、MediaTek Dimensity 9300 ~35 TOPS。Copilot+ PC 認定 40 TOPS (Microsoft 2024) が業界アンカー。マイクロ NPU: Arm Ethos-U55 ~256 MOPS / U65 ~1 TOPS、Coral Edge TPU 4 TOPS (TFLite 専用)、ESP32-S3 ベクトル命令のみで TinyML 領域。車載: Orin AGX 275 TOPS、Thor ~1000 TOPS、Tesla HW4 ~300–400 TOPS (非公式)。tech-71 のデータセンタ GPU と数桁違い、INT4/INT8 中心設計が前提。

量子化レシピ

理論 (PTQ/QAT/混合精度) は tech-79。エッジ固有: INT8 PTQ (Core ML LQ・TFLite・ORT) ×4 で ANE 全面対応の第一選択。W4A16 weight-only (GGUF Q4_K_M・AWQ・GPTQ) ×8、activation FP16、NPU 部分対応。W4A8 (QNN・ExecuTorch) w×8+a×2、Hexagon が得意。Palettization (Core ML mlpackage) ~×4–6、LUT で重みを 4/6/8 bit クラスタに写像する Apple 独自。FP16 は MLX・Jetson Tensor Core で ×2、電話はメモリ圧迫で厳しい。GGUF Q4_K_M の K は k-quant 混合精度で重要層を高精度維持 (tech-77)。

メモリ・帯域モデル

Apple Silicon ユニファイドメモリ: CPU/GPU/ANE 同一プール (M4 Pro ~273 GB/s [VERIFY])。実用モデルは RAM の 50–70% が上限、16 GB Mac で 7B INT4 ギリギリ、32 GB で 13–30B INT4 圏、ANE 内部 SRAM ~384 MB [VERIFY]。スマホ: iPhone 16 RAM 6–8 GB、App 上限 ~3–4 GB、iOS Jetsam がバックグラウンドを優先的に殺す。KV キャッシュがエッジ LLM 最大のボトルネック: 7B + context 32K → KV ~8 GB → 即 OOM。対策は max_seq_len 2K–4K + sliding window + KV INT8 (tech-43 chunked prefill はエッジ適用困難)。MCU: SRAM 256 KB–4 MB / Flash 2–16 MB で LLM 不可、TinyML (~100 KB) のみ (AP-10)。

レイテンシ予算

SLO は tech-44。エッジ目標: Chat TTFT < 1 s (3B INT4 iPhone ~0.3–0.8 s [VERIFY]) / TPOT < 50 ms/tok (≥ 20 tok/s)、30 tok/s 優良 [VERIFY]。Voice Agent E2E 知覚 < 500 ms (VAD <10ms → ASR <150ms → LLM TTFT <300ms → TTS first chunk <100ms)、ASR partial hypothesis を LLM にストリーム並列化、VAD/エコーキャンセルは DSP 専用回路。キーボード補完 < 100 ms で 3B 未満 + INT4 + NPU 必須。プリフィル (tech-45) は単一デバイスでバッチ不可、TTFT 改善は HW + 量子化 + KV 削減の合成。

オフラインとハイブリッドの 4 パターン

A 完全オンデバイス = モデル常駐 (プライバシー・ネット不要・レイテンシ/コスト確定、品質上限、iOS 18+ Apple Intelligence on-device 部)。B モデルカスケーディング = 小モデルがクエリ分類 → 複雑な物のみクラウド呼出 (Google AI Core Nano → Pro [VERIFY])。C スプリット推論 = エンコーダ device / デコーダ cloud。Apple PCC = 暗号化リクエストを Apple プライベートクラウドへ転送、アテステーション付で処理後データ非保持、iOS/macOS 26 Tahoe で ~30B [VERIFY]。D クラウドバースト = 通常クラウド、ネット断でオンデバイス縮退、品質ギャップが UX 課題。製品は A+B が Apple Intelligence・Android AI Core で標準。

エネルギーと熱

tokens/J が品質指標。ANE は M-series GPU の ~5–10× [VERIFY]、Hexagon NPU は Adreno GPU の ~3–5× [VERIFY]。iPhone 16 sustained ~3–5W で数分連続で熱スロットル → ~50% 低下、MacBook Pro M4 ファン冷却で 15–30W 持続、Jetson Orin Nano 7–15W で ~40 TOPS 持続。iPhone 1 時間チャット試算 (3B INT4・25 tok/s・NPU 2–3W・14 Wh) は推論のみで 5–7 時間 [VERIFY: 理論推計]、実際はディスプレイ+無線で 1–2 時間に圧縮。常時聴取は wake word DSP を専用回路分離し LLM はトリガー後起動必須。

プライバシー・規制ドライバ

エッジ推論は最適化でなく規制要件で採用拡大: GDPR (EU) 個人データ送信同意必要 → on-device で回避、EU AI Act 高リスク AI 透明性義務 → on-device は処理ログ非残留が優位、APPI (日本) 第三国移転規制 → 医療・金融の on-device 需要、HIPAA (米) PHI に BAA 義務 → 病院オンプレ / 端末推論、企業エアギャップ (金融・防衛) は edge / on-prem 一択、子供保護・教育 はクラウド送信不可。コスト・レイテンシは副次、主動因は規制対応へシフト。

10 アンチパターン

1. AP-1 FP16 そのままデプロイ (Critical) — 7B FP16=14 GB で iPhone 即 OOM、NPU 未対応で CPU 落ち。対策: INT4/INT8 PTQ (tech-79)。
2. AP-2 ONNX を共通フォーマット視 (High) — EP ごとに opset/op カバレッジ差、ONNX→Core ML で Einsum 非対応、ONNX→TFLite で NCHW→NHWC ミス。対策: 変換後 BLEU/MMLU delta <1% (tech-76)。
3. AP-3 NPU op カバレッジ未確認で「NPU 使用中」と判断 (High) — compute_units=ALL/QNN EP でも非対応 op は自動フォールバック。対策: Instruments Neural Engine Activity / QNN Profiler。
4. AP-4 クラウドサイズの KV を移植 (Critical) — context 32K → 8 GB KV → iOS Jetsam 強制終了。対策: max_seq_len 2K–4K、sliding window、KV INT8 (tech-43)。
5. AP-5 コールドスタートで全重みロード (High) — 起動 3–10 秒ペナルティ。対策: mmap + lazy load (tech-77)、プリコンパイル済バンドル。
6. AP-6 オフラインフォールバックなしのクラウド専用 (High) — トンネル/機内で機能消滅。対策: MVP から minimum on-device fallback + network detection。
7. AP-7 ANE/Hexagon をブラックボックス扱い (High) — 「動いた=OK」で一部 CPU 落ち、3–10× 速度損失。対策: Instruments + Hexagon Profiler でレイヤー単位タイムライン。
8. AP-8 INT4 量子化を unit test のみで評価 (High) — ランダム入力 OK でも実プロンプトで数学・推論能力壊滅。対策: MMLU/TruthfulQA 前後比較、delta >2% で QAT or 混合精度 (tech-79)。
9. AP-9 複数プロセス・拡張から重複モデルロード (Medium) — 3 プロセス × 2 GB → 他アプリ強制終了。対策: MLModel を XPC service で 1 インスタンス共有。
10. AP-10 MCU TinyML とモバイル LLM の同一視 (Medium) — SRAM 256 KB に 3B 不可。対策: MCU は TinyML (~100 KB) と明確分離、LLM はスマホ (GB RAM) 以上。

2026 フロンティア

訓練 ~2025-08 のため全項目 [VERIFY]。Apple Foundation Models (iOS/macOS 26 Tahoe 2025-09 WWDC) on-device ~3B + PCC ~30B、Swift FoundationModels API。Gemini Nano on Android AI Core Pixel 8/9 Nano ~1.8B / Nano XL ~3.25B、LiteRT GA、MediaPipe LLM Inference stable。Snapdragon 8 Elite AI Hub 経由 Llama 3.2 3B / Gemma 2 2B ~30 tok/s、NPU ~75 TOPS。Copilot+ PC + Phi-3/3.5 Phi-3-mini/3.5-mini (3.8B) が ORT+QNN EP / DirectML で動作、40 TOPS NPU bar が Windows on ARM 標準化を駆動。ExecuTorch 1.0 GA (export→to_edge→to_executorch、訓練時点 RC)。On-device RAG = 埋め込み (~80 MB MiniLM) + SQLite-VSS/LanceDB + ローカル LLM 3B の三層が Enterprise オフライン検索で普及。Agentic on-device = ローカル小モデルがオーケストレータでクラウドツール (OpenAI Responses/Anthropic MCP) を呼ぶハイブリッド設計が登場。

関連記事

tech-43 batching (エッジは sliding window + KV INT8) / tech-44 SLO / tech-45 prefill-decode 非対称 (エッジはバッチ不可) / tech-46 カーネル (エッジは NPU 内部) / tech-66 Jetson コンテナ / tech-67 FW (エッジは変換後ランタイム) / tech-69 クラウドサービング (本稿はその対) / tech-73 分散 (エッジは single-device) / tech-76 変換 / tech-77 フォーマット / tech-79 圧縮 / tech-80 クラスタ (直交)。