Neural Networks and Deep Learning（ニューラルネットワークとディープラーニング）

article technology medium #neural-networks#deep-learning#mlp#cnn#rnn#lstm#backpropagation#autodiff#activation-function#relu#gelu#swiglu#batch-normalization#layer-normalization#rmsnorm#dropout#mixup#weight-initialization#kaiming#adam#adamw#resnet#convnext#vae#gan#diffusion#ddpm#pytorch#jax#mlx#mamba#ssm#xlstm#rwkv#mod#differential-transformer#ece-calibration#double-descent#grokking#loss-of-plasticity#mixed-precision#fp8#mxfp4
Created: 2026-05-27 Updated:

パーセプトロン/UAT/活性化, 誤差逆伝播・初期化・BN/LN/RMSNorm, 損失と正則化, CNN/RNN/生成 (VAE/GAN/DDPM), PyTorch/JAX/MLX, GPU/TPU dtype, 落とし穴と 2026 フロンティア (Mamba/xLSTM/MoD) を俯瞰。

Neural Networks and Deep Learning（ニューラルネットワークとディープラーニング）

NN は fθ=fL∘⋯∘f1f_\theta = f_L \circ \cdots \circ f_1 を SGD+誤差逆伝播で訓練する枠組み。Rosenblatt 1958→Cybenko/Hornik 1989-91 UAT→Rumelhart 1986 backprop→AlexNet 2012→ResNet 2015→Transformer 2017 で系列が attention 中心へ。深層化部品は tech-35、分散並列は tech-48、最適化器詳細は tech-51、学習パラダイムは tech-49。

数学的基盤と活性化関数

MLP h(l)=σ(W(l)h(l−1)+b(l))h^{(l)} = \sigma(W^{(l)} h^{(l-1)} + b^{(l)})、UAT は 1 隠れ層+十分な幅で連続関数を任意精度近似。Montufar 2014 は depth-LL ReLU 網が O(nd(L−1))O(n^{d(L-1)}) 線形領域を持ち深さの指数的効率を示す。活性化: Sigmoid/Tanh (飽和→勾配消失)、ReLU max⁡(0,x)\max(0,x) (dying-ReLU)、Leaky ReLU/ELU、GELU xΦ(x)x\Phi(x) (Hendrycks 2016、BERT/GPT)、SwiGLU (Shazeer 2020、LLM FFN)。Softmax は z−max⁡(z)z-\max(z) で数値安定化。

誤差逆伝播・初期化・正規化

Backprop は Linnainmaa 1970/Werbos 1974 原型、Rumelhart 1986 で普及。autodiff は forward/reverse (DL 標準)、PyTorch は dynamic graph、JAX は grad/jvp/vjp 変換。勾配消失/爆発 (Hochreiter 1991) は Jacobian スペクトル半径連積が指数挙動を生む。対策: clip_grad_norm (τ=1\tau=1)、LSTM ゲート、残差接続、初期化と正規化。Xavier 2010 Var(W)=2/(nin+nout)\mathrm{Var}(W)=2/(n_\text{in}+n_\text{out}) は sigmoid/tanh、He/Kaiming 2015 Var(W)=2/nin\mathrm{Var}(W)=2/n_\text{in} は ReLU で活性化分散保存。BatchNorm (Ioffe-Szegedy 2015) は x^=(x−μB)/σB2+ϵ\hat{x}=(x-\mu_B)/\sqrt{\sigma_B^2+\epsilon}、推論時 EMA。Santurkar 2018 が ICS 解消説を否定し損失ランドスケープ Lipschitz 性向上を真因と再解釈。LayerNorm (Ba 2016) は per-sample で Transformer 標準、GroupNorm は検出小バッチ向け、RMSNorm (Zhang-Sennrich 2019) は平均除算と β\beta を捨て xi/1d∑xj2x_i/\sqrt{\frac{1}{d}\sum x_j^2}、~10–15% 高速で LLaMA/Mistral/Qwen/Gemma 標準。

損失関数と最適化器

回帰: MSE/MAE/Huber。分類: Cross-Entropy、BCE は BCEWithLogitsLoss で数値安定。Focal Loss (Lin 2017) −(1−pt)γlog⁡pt-(1-p_t)^\gamma\log p_t は易例抑制 (γ=2\gamma=2)、ラベルスムージング (Szegedy 2016) は target を (1−ϵ) one-hot+ϵ/K(1-\epsilon)\,\text{one-hot}+\epsilon/K で過信抑制・較正改善。対比: Triplet、NT-Xent (SimCLR、τ≈0.07\tau\approx 0.07)、InfoNCE (van den Oord 2018) は I(x;c)I(x;c) 下界で CPC/MoCo/CLIP 基盤。KL Divergence は VAE/蒸留/RLHF KL ペナルティ (tech-49)。最適化器系譜 (詳細 tech-51): SGD+Momentum→AdaGrad→RMSProp→Adam (Kingma 2014)→AdamW (Loshchilov 2017)→Lion (符号モーメント)→Schedule-Free→Muon (Newton-Schulz 直交勾配)。LR: warmup→cosine annealing/SGDR/OneCycleLR。LLM は β2=0.95\beta_2=0.95 で 2 次モーメント追従を速める運用が多い。

アーキテクチャ系譜

CNN: 並進等変、O(K2CinCoutHW)O(K^2 C_\text{in}C_\text{out}HW)。LeNet-5→AlexNet (2012、ReLU+Dropout+multi-GPU、top-5 15.3%)→VGG (3×3 積層)→Inception (1×1+マルチブランチ)→ResNet (2015) は y=F(x)+xy=F(x)+x で degradation 解決 (top-5 3.57%)→DenseNet→EfficientNet (NAS 複合スケーリング)→ConvNeXt (2022) は 7×7+LN+GELU で Swin と同等、recipe の重要性を実証。RNN: Elman は 10–20 ステップで勾配消失、LSTM (1997) はセル+忘却/入力/出力ゲート、GRU (2014) は 2 ゲートに簡素化。Seq2Seq と Bahdanau Attention が Transformer (tech-35) 前駆。生成系: VAE (2013) は ELBO+reparameterization z=μ+ϵσz=\mu+\epsilon\sigma、GAN (2014) は minimax で DCGAN/WGAN/StyleGAN3 へ発展、DDPM (Ho 2020) は前向き q(xt∣xt−1)=N(1−βtxt−1,βtI)q(x_t|x_{t-1})=\mathcal{N}(\sqrt{1-\beta_t}x_{t-1},\beta_t I) と逆向き ϵθ\epsilon_\theta 予測、DDIM で 50× 高速、Latent Diffusion (Rombach 2022) が SD 基盤。

正則化と SSL

L2 weight decay (AdamW で decoupled)、Dropout (2014) は pp で活性化 0 化し 2n2^n 部分網アンサンブル近似、Transformer p=0.1p=0.1、BN と干渉。DropPath は残差ブランチを確率スキップで EfficientNet/ConvNeXt/ViT 共通。Mixup は x~=λxi+(1−λ)xj\tilde{x}=\lambda x_i+(1-\lambda)x_j で入力・ラベルを線形補間、CutMix・RandAugment は timm 既定。SSL: MAE (2022) は 75% パッチマスクで ViT 効率事前学習、SimCLR は大バッチ+NT-Xent、MoCo は momentum encoder+queue、DINOv2 は自己蒸留で強い下流特徴。知識蒸留 (Hinton 2015) は温度付き soft target でダーク知識伝達。RLHF/DPO/LoRA は tech-49。

フレームワーク

PyTorch は dynamic graph+Python first で研究標準。PyTorch 2.x の torch.compile (TorchDynamo+TorchInductor+AOT Autograd) は 20–200% 高速化。SDPA が FlashAttention に自動ディスパッチ (tech-35)、FSDP/DDP/DeviceMesh は tech-48、ExecuTorch はモバイル/エッジ。JAX は関数型 NumPy+jit/vmap/pmap で TPU ネイティブ、Flax NNX は mutable Module で PyTorch 流。Keras 3 は TF/JAX/PyTorch 三方バックエンド。MLX (Apple) は M 系 unified memory+Metal で LLM 推論・LoRA を MacBook で実行。tinygrad・candle (Rust) も育つ。推論: ONNX/ONNX Runtime、TVM、TensorRT-LLM (PagedAttention+FP8+speculative decoding)。詳細 tech-46。

ハードウェアと数値精度

NVIDIA H100 (Hopper) は 80GB HBM3/3.35 TB/s、FP8 E4M3/E5M2/BF16/FP16/TF32、NVLink 4.0 900 GB/s、~989 TFLOPS BF16 (sparse)。H200 は 141GB HBM3e/4.8 TB/s、長文 KV キャッシュ向き drop-in。B100/B200 Blackwell は 192GB HBM3e/~8 TB/s、Transformer Engine 第 2 世代、MXFP4/MXFP6、NVLink 5.0、GB200 NVL72 は 36 Grace+72 Blackwell を単一 GPU 抽象化。AMD MI300X は 192GB HBM3/5.3 TB/s、ROCm 6.x。Google TPU v5p/v6e Trillium は JAX 標準で Gemini 訓練基盤。AWS Trainium2・Intel Gaudi3・Apple M4 Max (128GB unified)。dtype: FP32 (基準)、TF32 (A100+ 既定)、BF16 (指数 8、loss scaling 不要で 2022+ 学習標準)、FP16 (loss scaling 必要)、FP8 E4M3 (forward)/E5M2 (backward)、MXFP6/MXFP4 (B200)、INT8/INT4 (GPTQ/AWQ post-training)。Mixed Precision (Micikevicius 2017) は FP32 master+FP16/BF16 演算、BF16 で主流化。

落とし穴

データ漏洩: preprocess は train で fit、temporal split 厳守、ベンチ汚染監視。ICS 神話: Santurkar 2018 が BN を ICS 解消で説明する原典を否定、損失ランドスケープ平滑化が真因。勾配爆発: clip_grad_norm_(1.0)、BF16、LR 削減。batch-LR ミスマッチ: Goyal 2017 linear scaling+5-epoch warmup。LR finder (Smith 2015): exponential ramp→発散 1/3–1/10 を採用。FP16 underflow: BF16 切替か loss scaling。可塑性喪失: Dohare 2024 で継続学習中の dead ReLU 蓄積と effective rank 低下、shrink-and-perturb で緩和。二重降下 (Belkin 2019): モデル拡大で test 再上昇→再降下、古典 bias-variance 不完全。Grokking (Power 2022): 過学習後の突然汎化。NaN デバッグ: LR 大過→torch.isnan→log⁡0\log 0→FP16 overflow→初期化異常、の順で切分。

評価指標

分類: AUROC は閾値非依存、不均衡は PR-AUC、F1 調和平均。較正: ECE (Guo 2017) は信頼 bin と精度差、temperature scaling (logits/T\text{logits}/T, T>1T>1) が post-hoc 最強。LM: Perplexity (トークナイザ依存)、BLEU/ROUGE/chrF (MT 人手相関高)。コード: Pass@k (Chen 2021) は 1−(n−ck)/(nk)1-\binom{n-c}{k}/\binom{n}{k}、HumanEval/MBPP/SWE-bench。LLM: MMLU (Hendrycks 2020)、HELM、lm-evaluation-harness。画像: ImageNet top-1/top-5、COCO (Lin 2014) は mAP@[0.5:0.95]。

2026 フロンティア

SSM: S4 (Gu 2021) は HiPPO で連続時間 SSM 離散化 O(Nlog⁡N)O(N\log N)、Mamba (2023) は入力依存 Δ,B,C\Delta,B,C の selective SSM+parallel scan で長さ線形、Mamba-2 は SSD で線形 attention と統合 2–8× 高速。Jamba (AI21) は Mamba-Transformer ハイブリッド+MoE 256K context。xLSTM (2024) は mLSTM 行列メモリ+sLSTM 指数ゲート。RWKV-6/7 は train-as-Transformer/infer-as-RNN、RetNet は retention、Hyena は長畳込 sub-quadratic、Liquid Foundation Models は ODE ニューロン+Mamba ハイブリッド。Mixture of Depths (2024) はトークン単位で層スキップ可否を router 決定し ~12.5% FLOPs 削減、MoE と直交。Differential Transformer (2024) は softmax(Q1K1⊤)−λ softmax(Q2K2⊤)\text{softmax}(Q_1K_1^\top)-\lambda\,\text{softmax}(Q_2K_2^\top) で雑音相殺と attention-sink 軽減。Test-Time Training は推論時に自己教師で重み更新。

未確認事項 (確認時点 2026-05)

(1) PyTorch 2.5 確定機能 (torch.export、flex attention)、(2) Flax NNX 安定 API、(3) Blackwell B100/B200 仕様と TPU v6e/Trainium2/Gaudi3 GA 状況、(4) TensorRT-LLM 現行版、(5) Mamba-2 SSD の LLM スケール採用、(6) xLSTM vs LLaMA-2 一次ベンチ、(7) Dohare 2024 Nature 掲載と Schedule-Free/Muon 本番採用。公開後の再検証で high 格上げ。

See also

Backlinks

Local graph