Attention Mechanism（アテンション機構）

アテンション機構はクエリ $q$ と一連のキー $k_i$ の類似度を softmax で確率分布化し、対応する値 $v_i$ の加重和を返す微分可能な「ソフトな辞書参照」である。Bahdanau 2015 (arXiv:1409.0473) が encoder-decoder の固定長ボトルネック解消として導入し、Vaswani 2017 (arXiv:1706.03762) の scaled dot-product 化で再帰を捨て、現代 LLM の中核演算となった。本稿は加法注意から MLA・FlashAttention まで attention 自体の系譜と効率化変種を整理する。Transformer 全体構造は tech-35、位置注入は tech-34 を参照。

アテンション以前 — encoder-decoder と Bahdanau 注意

2014 年の Sutskever seq2seq は入力系列を encoder LSTM の最終隠れ状態 1 本に圧縮し decoder へ渡したため、長文で情報が潰れた。Bahdanau 2015 はこのボトルネックを解消すべく、decoder の各ステップ $t$ で encoder の全ての隠れ状態 $h_1, \dots, h_T$ を参照する加法注意 (additive / Bahdanau attention) を導入した:

$e_{tj} = v^\top \tanh(W_1 s_{t-1} + W_2 h_j), \quad \alpha_{tj} = \mathrm{softmax}_j(e_{tj}), \quad c_t = \sum_j \alpha_{tj} h_j$

$c_t$ が context vector で decoder へ追加入力する。Luong 2015 (arXiv:1508.04025) は加法を捨て内積・bilinear (general)・concat の 3 スコアを比較し dot-product を推奨。注意 = 学習可能なソフト辞書参照という抽象化が固まり、再帰 + 注意のハイブリッドが NMT で支配的になる。

数式と形式 — additive, dot-product, scaled dot-product

クエリ次元 $d_k$ のもとで主要な 3 形式は

$\text{additive: } e = v^\top \tanh(W_q q + W_k k), \quad \text{dot: } e = q^\top k, \quad \text{scaled dot: } e = \frac{q^\top k}{\sqrt{d_k}}$

加法は MLP 1 層分の演算で高品質だが GEMM に乗らず GPU で遅い。素の内積は速いが $d_k$ が大きいと $\mathrm{Var}(q^\top k) = d_k$ で softmax 飽和し勾配がほぼ消える。Vaswani 2017 は $\sqrt{d_k}$ で割り分散を $1$ に戻す scaled dot-product を採用、$\text{Attention}(Q, K, V) = \mathrm{softmax}(QK^\top / \sqrt{d_k}) V$ という単一行列積に統一した。これが GPU GEMM に乗ることが Transformer 並列性の鍵である。

自己注意 vs cross-attention vs 因果マスク

自己注意 (self-attention) は $Q, K, V$ を同一系列 $X \in \mathbb{R}^{n \times d}$ から $Q = XW_Q, K = XW_K, V = XW_V$ と射影し $n \times n$ の注意行列を作る。cross-attention は $Q$ を decoder 側・$K, V$ を encoder 出力から作り、機械翻訳や T5 系・拡散モデルのテキスト条件付けに使う。形状は $n_{\text{dec}} \times n_{\text{enc}}$ で非対称。

マスキングはソフトマックス前に $-\infty$ を加算して特定セルを参照禁止にする操作で 2 種類ある:

• 因果マスク (look-ahead / causal mask): 上三角 $-\infty$ で未来トークン参照禁止。decoder-only LLM の自己回帰生成に必須。
• パディングマスク: バッチ内可変長を埋めた [PAD] トークンの列を $-\infty$ にして KV 側から排除。

両者は同時適用可能で、$M_{ij} = 0$ または $-\infty$ の加算行列として実装する。

マルチヘッド・MQA・GQA・MLA

Multi-Head Attention (MHA) は $Q, K, V$ を $h$ 個の $d_k = d_{\text{model}}/h$ 次元部分空間に並行射影し独立に attention 計算後に連結 + 出力射影。総 FLOP は単一ヘッドと同等で各ヘッドが構文依存・共参照・近接を別々に担う。

Multi-Query Attention (MQA) (Shazeer 2019, arXiv:1911.02150) は KV を 1 ヘッド共有し $2h \to 2$ に KV キャッシュを縮める。HBM 帯域律速を緩和し約 10× スループットだが品質劣化事例あり。

Grouped-Query Attention (GQA) (Ainslie 2023, arXiv:2305.13245) は中庸案で $G$ KV グループを $h/G$ クエリで共有 ($G = 1$ なら MQA・$G = h$ なら MHA)。LLaMA 2 70B が $G = 8$ で MHA 同等品質を示し以後標準。

Multi-head Latent Attention (MLA) (DeepSeek-V2, arXiv:2405.04434) は KV を低ランク joint 圧縮し $c_t^{KV} = W_{DKV} h_t \in \mathbb{R}^{d_c}$ ($d_c \ll h \cdot d_k$) のみキャッシュ、$k_t = W_{UK} c_t^{KV}, v_t = W_{UV} c_t^{KV}$ で復元する。GQA より小容量で MHA 級品質を達成、RoPE は別チャネル化が必要。

効率化系譜 — FlashAttention・Sliding Window・Sparse・低ランク・カーネル

素の自己注意は $O(n^2 d)$ FLOP と $O(n^2)$ メモリで、長文脈の律速。系統別に 5 アプローチがある。

FlashAttention (Dao 2022, arXiv:2205.14135) は近似なしのIO-aware 厳密注意。$n \times n$ 行列を HBM に書かず Q/K/V をブロック分割し SRAM へロード、online-softmax で正規化定数 $m, \ell$ を逐次更新して出力を直接合成する。HBM I/O を $O(n^2)$ から $O(n^2 d/M)$ ($M$ は SRAM 容量) に削減、2〜4× wall-clock・5〜20× メモリ削減。FA-2 (arXiv:2307.08691) で A100 50〜73%、FA-3 で H100 約 75% 理論ピーク。

Sliding Window Attention (SWA) は各トークンが直近 $w$ 個のみ参照、メモリ $O(n w)$。Longformer (Beltagy 2020, arXiv:2004.05150) はこれに少数のグローバルトークンを全結合し 4K → 32K を実現。BigBird (Zaheer 2020, arXiv:2007.14062) は local + global + ランダムで Turing-completeness を保証。Mistral 7B が SWA + rolling KV cache で商用化。

低ランク系: Linformer (Wang 2020, arXiv:2006.04768) は $K, V$ を学習射影で $n \to k$ に圧縮し $O(nk)$。注意行列が経験的に低ランクである観察に基づく。

カーネル/線形系: Performer (Choromanski 2021, arXiv:2009.14794) は softmax カーネルを FAVOR+ で正のランダム特徴 $\phi(q), \phi(k)$ に非バイアス近似し $\mathrm{softmax}(QK^\top)V \approx \phi(Q)(\phi(K)^\top V)$ の積順序入替で $O(n)$ 化。Linear Transformer (Katharopoulos 2020, arXiv:2006.16236) は $\phi(x) = \mathrm{elu}(x) + 1$ で同目的。

ハッシュ系: Reformer (Kitaev 2020, arXiv:2001.04451) は LSH で近傍のみ計算 $O(n \log n)$。

理論的視点 — set function / kernel / graph attention

自己注意は置換同変な集合関数 (permutation-equivariant set function) で、入力順序を変えると出力も同じ置換が掛かる。これが位置符号化を別経路で注入する必然性を生む。

Tsai 2019 (arXiv:1908.11775) は注意をカーネル法として再解釈し $\mathrm{Attention}(q, K, V) = \sum_i \kappa(q, k_i) v_i / \sum_j \kappa(q, k_j)$、$\kappa$ は指数カーネル $\exp(q^\top k / \sqrt{d_k})$、と定式化。Performer の FAVOR+ 設計の理論基盤である。

Graph Attention Network (GAT) (Veličković 2018, arXiv:1710.10903) は注意をグラフ隣接ノードに限定し $\alpha_{ij} = \mathrm{softmax}_{j \in \mathcal{N}(i)}(\mathrm{LeakyReLU}(a^\top [Wh_i \| Wh_j]))$ で集約に学習可能重みを与える。自己注意の全結合グラフ特殊化と見做せ、GNN と Transformer の橋渡しになる。

位置情報の注入

自己注意は順序を区別しないため正弦波絶対・T5 相対バイアス・RoPE・ALiBi・YaRN/LongRoPE などで位置を別チャネル注入する。詳細は Positional Encoding — tech-34 を参照。本稿の比較表は「位置 = RoPE 等で別経路」を前提とする。

代替・補完技術 — SSM・Mamba・Hyena

$O(n^2)$ 依存を回避する非注意アーキテクチャも 2023 年以降復権した。Mamba/S6 (Gu & Dao 2023, arXiv:2312.00752) は状態空間モデル (SSM) を選択的ゲート化し $O(n)$ で 1M トークンまでスケール。Hyena (Poli 2023, arXiv:2302.10866) は long convolution + gating で $O(n \log n)$ 領域を狙う。ただし連想想起 (associative recall) タスクで attention が依然優位 (Arora 2024, arXiv:2402.18668)、ハイブリッド (Jamba, Zamba) や attention 主軸 + Mamba 補助が現実解。

2026 年の選択指針

実装は PyTorch 2.x の scaled_dot_product_attention (FA2/FA3 自動選択)、xformers、FlashAttention 公式 CUDA、Triton が主流。長文脈学習では FA + RoPE + GQA + (SWA or 全結合) が事実上の標準。

二言語用語対照表

参考文献

• Bahdanau 2015 (additive attention). https://arxiv.org/abs/1409.0473
• Luong 2015 (dot/general/concat). https://arxiv.org/abs/1508.04025
• Vaswani 2017 (Transformer / SDPA). https://arxiv.org/abs/1706.03762
• Shazeer 2019 (MQA). https://arxiv.org/abs/1911.02150
• Ainslie 2023 (GQA). https://arxiv.org/abs/2305.13245
• DeepSeek-AI 2024 (MLA / DeepSeek-V2). https://arxiv.org/abs/2405.04434
• Dao 2022 (FlashAttention). https://arxiv.org/abs/2205.14135
• Dao 2023 (FlashAttention-2). https://arxiv.org/abs/2307.08691
• Beltagy 2020 (Longformer). https://arxiv.org/abs/2004.05150
• Zaheer 2020 (BigBird). https://arxiv.org/abs/2007.14062
• Wang 2020 (Linformer). https://arxiv.org/abs/2006.04768
• Choromanski 2021 (Performer). https://arxiv.org/abs/2009.14794
• Katharopoulos 2020 (Linear Transformer). https://arxiv.org/abs/2006.16236
• Kitaev 2020 (Reformer). https://arxiv.org/abs/2001.04451
• Tsai 2019 (Attention as Kernel). https://arxiv.org/abs/1908.11775
• Veličković 2018 (GAT). https://arxiv.org/abs/1710.10903
• Gu & Dao 2023 (Mamba). https://arxiv.org/abs/2312.00752
• Poli 2023 (Hyena). https://arxiv.org/abs/2302.10866
• Arora 2024 (associative recall gap). https://arxiv.org/abs/2402.18668