ML Learning Methods（機械学習手法の分類）

article technology medium #learning-methods#self-supervised#transfer-learning#meta-learning#continual-learning#federated-learning#contrastive-learning#imitation-learning#active-learning#domain-adaptation#curriculum-learning#multi-task-learning#test-time-training#in-context-learning#ml-taxonomy
Created: 2026-05-29 Updated:

ML 学習手法を教師信号 6 軸・SSL 4 系統・転移/ドメイン適応・メタ/Few-shot・MTL/カリキュラム・継続/オンライン・能動/連合/DP・模倣/IRL・対照マルチモーダル・2026 フロンティアで俯瞰し失敗 5 型を整理。

ML Learning Methods（機械学習手法の分類）

ML 手法は教師信号・転移・タスク共有・時間連続性・ラベル戦略・プライバシの 6 軸分類。本記事は SSL/転移/メタ/MTL/continual/active/FL/imitation/マルチモーダル/フロンティア横断整理。LLM tech-49・RL tech-65・NN tech-67・古典 ML tech-68。confidence: medium は情報カットオフ ~2025-08 で固定（2026-05 時点での外部再検証は未実施）。

教師信号スペクトラム

Supervised (x,y)(x,y)・Unsupervised P(x)P(x)/構造・Semi-supervised 少量ラベル+大量未ラベル (FixMatch arXiv:2001.07685)・SSL 擬似ラベル・Weakly ノイズラベル・RL 報酬 rtr_t。Inductive/Transductive は未知入力汎化可否で区別。GPT 系は SSL→SFT→RLHF 合成。

自己教師あり学習の 4 系統

(1) 対照 — InfoNCE (van den Oord 2018, arXiv:1807.03748) L=−log⁡[exp⁡(zizj/τ)/∑kexp⁡(zizk/τ)]\mathcal{L}=-\log[\exp(z_i z_j/\tau)/\sum_k\exp(z_i z_k/\tau)]。SimCLR (arXiv:2002.05709)、MoCo v1/v2/v3 (arXiv:1911.05722/2003.04297/2104.02057) momentum encoder+負例キュー。(2) Masked: BERT (arXiv:1810.04805) 15% トークン、MAE (arXiv:2111.06377) 75% パッチ+非対称 3x 高速。(3) Generative 次トークン予測。(4) Distillation: BYOL (arXiv:2006.07733)・DINO (arXiv:2104.14294)・DINOv2 (arXiv:2304.07193) dense prediction backbone。CLIP は次節。

転移学習とドメイン適応

転移: Feature extraction・Fine-tuning (低 LR)・LLRD (深層ほど LR 低下)・Linear probing。LLM PEFT は tech-49。DA: DANN (Ganin 2015, arXiv:1505.07818) 勾配反転 L=Ltask−λLdomain\mathcal{L}=\mathcal{L}_\text{task}-\lambda\mathcal{L}_\text{domain}、CORAL (Sun 2016, arXiv:1607.01719) L=14d2∥CS−CT∥F2\mathcal{L}=\frac{1}{4d^2}\|C_S-C_T\|_F^2、SHOT (arXiv:2002.08546) source-free。DG: IRM (Arjovsky 2019, arXiv:1907.02893) 不変表現、GroupDRO (Sagawa 2019, arXiv:1911.08731) 最悪群リスク最小化。

メタ学習と Few-shot / Zero-shot

MAML (Finn 2017, arXiv:1703.03400) 双レベル θ∗=arg⁡min⁡θ∑LTi(fθ−α∇θLTi)\theta^*=\arg\min_\theta\sum\mathcal{L}_{\mathcal{T}_i}(f_{\theta-\alpha\nabla_\theta\mathcal{L}_{\mathcal{T}_i}})、Reptile (arXiv:1803.02999) 一階近似。Prototypical Networks (Snell 2017, arXiv:1703.05175) ck=1∣Sk∣∑fθ(x)c_k=\frac{1}{|S_k|}\sum f_\theta(x) 最近傍、Matching Networks (arXiv:1606.04080) attention 加重 k-NN。N-way K-shot が標準。言語 few-shot は ICL が概ね代替、ロボティクス・低資源 NLP は従来型現役。Zero-shot は CLIP クラス名埋込類似度、CoT (Wei 2022, arXiv:2201.11903) few-shot 推論連鎖。

マルチタスク学習とカリキュラム学習

MTL: Hard sharing (encoder+task heads、Baxter 1997 過学習 2〜10x 低減)・Soft sharing。gradient interference 対策: GradNorm (Chen 2018, arXiv:1711.02257) L=∑i∣Gi(t)−Gˉ(t)riα∣\mathcal{L}=\sum_i|G_i^{(t)}-\bar{G}^{(t)} r_i^\alpha|、PCGrad (Yu 2020, arXiv:2001.06782) 直交射影、MGDA (arXiv:1810.04650) Pareto-stationary、Uncertainty (Kendall 2017, arXiv:1705.07115) L=∑i12σi2Li+log⁡σi\mathcal{L}=\sum_i\frac{1}{2\sigma_i^2}\mathcal{L}_i+\log\sigma_i。production: 推薦 (CTR+CVR)・foundation model。Curriculum (Bengio 2009) 易→難、Self-Paced (Kumar 2009) min⁡w,v∑iviL−1λ∑ivi\min_{\mathbf{w},\mathbf{v}}\sum_i v_i\mathcal{L}-\frac{1}{\lambda}\sum_i v_i。LLM データ混合・RL shaped→sparse reward で活用。

継続学習とオンライン学習

Catastrophic Forgetting (McCloskey-Cohen 1989) 対策 3 系統: (1) Regularization — EWC (Kirkpatrick 2017, arXiv:1612.00796) Fisher 情報量 FiF_i で L=LB+∑iλ2Fi(θi−θi∗)2\mathcal{L}=\mathcal{L}_B+\sum_i\frac{\lambda}{2}F_i(\theta_i-\theta_i^*)^2、LwF (arXiv:1606.09282) soft target 蒸留。(2) Replay — GEM (Lopez-Paz 2017, arXiv:1706.08840)・iCaRL (arXiv:1611.07725)・DER (arXiv:2004.07606) ロジット蒸留。(3) Architecture — Progressive NN (Rusu 2016)・PackNet (Mallya 2018)・SupSup (Wortsman 2020)。Online: regret RT=∑tℓt(y^t)−min⁡f∑tℓt(f(xt))R_T=\sum_t\ell_t(\hat{y}_t)-\min_f\sum_t\ell_t(f(x_t))、OGD (Zinkevich 2003) 凸 O(T)O(\sqrt{T})、AdaGrad (Duchi 2011)。Concept Drift 検出 ADWIN/Page-Hinkley、対応は周期再訓練・適応アンサンブル。

能動学習

不確実性: Least confidence/Margin/Entropy x∗=arg⁡max⁡x−∑kP(yk∣x)log⁡P(yk∣x)x^*=\arg\max_x-\sum_k P(y_k|x)\log P(y_k|x)。Core-set (Sener-Savarese 2018, arXiv:1708.00489) 貪欲 k-center でカバレッジ最大化。BALD (Houlsby 2012, arXiv:1112.5745) 相互情報最大化 I(y;ω∣x,D)=H[y∣x,D]−EP(ω∣D)[H[y∣x,ω]]\mathcal{I}(y;\omega|x,\mathcal{D})=H[y|x,\mathcal{D}]-\mathbb{E}_{P(\omega|\mathcal{D})}[H[y|x,\omega]]、BatchBALD (arXiv:1906.08158)・QBC アンサンブル不一致。応用: 医療画像・LLM fine-tuning。SSL pretrain+戦略的少数ラベリングで annotation cost 桁違い削減。

連合学習とプライバシ保護学習

FedAvg (McMahan 2017, arXiv:1602.05629): サーバ broadcast → クライアント EE epoch SGD → 加重平均 θt+1=∑knknθkt+1\theta^{t+1}=\sum_k\frac{n_k}{n}\theta_k^{t+1}。FedProx (arXiv:1812.06127) 近接項 μ2∥θ−θt∥2\frac{\mu}{2}\|\theta-\theta^t\|^2 で非 IID 抑制、SCAFFOLD (arXiv:1910.06054) control variate、MOON (arXiv:2103.16257) 対照正則化。課題: non-IID・通信量 100〜1000x。DP: (ϵ,δ)(\epsilon,\delta)-DP P[M(D)∈S]≤eϵP[M(D′)∈S]+δP[\mathcal{M}(D)\in S]\leq e^\epsilon P[\mathcal{M}(D')\in S]+\delta。DP-SGD (Abadi 2016, arXiv:1607.00133): 勾配 clip+ガウシアンノイズ+Rényi DP/moments accountant。Secure Aggregation (Bonawitz 2017)・Split Learning。production: Gboard FedAvg+DP-SGD・NVIDIA FLARE 医療。

模倣学習と逆強化学習

BC: LBC=E(s,a)∼Dexpert[−log⁡πθ(a∣s)]\mathcal{L}_\text{BC}=\mathbb{E}_{(s,a)\sim\mathcal{D}_\text{expert}}[-\log\pi_\theta(a|s)]、分布シフトで誤差複利蓄積。DAgger (Ross 2011, arXiv:1011.0686) 現方策で状態収集→エキスパート照会 D←D∪{(st,π∗(st)):st∼πθ}\mathcal{D}\leftarrow\mathcal{D}\cup\{(s_t,\pi^*(s_t)):s_t\sim\pi_\theta\}。GAIL (Ho-Ermon 2016, arXiv:1606.03476) GAN 風で報酬暗黙学習 min⁡πmax⁡DEπ[log⁡D]+EπE[log⁡(1−D)]−λH(π)\min_\pi\max_D \mathbb{E}_\pi[\log D]+\mathbb{E}_{\pi_E}[\log(1-D)]-\lambda H(\pi)。IRL: MaxEnt (Ziebart 2008)・Bayesian (Ramachandran-Amir 2007)・f-IRL (arXiv:2011.02994)。production: RT-2/π₀/Octo は VLM+BC/DAgger 派生、LLM RLHF は BC+IRL 風。

対照学習とマルチモーダル学習

CLIP (Radford 2021, arXiv:2103.00020) 対称 InfoNCE で 400M 対 zero-shot 分類実現 L=−12N∑ilog⁡exp⁡(sim(Ii,Ti)/τ)∑jexp⁡(sim(Ii,Tj)/τ)+(対称項)\mathcal{L}=-\frac{1}{2N}\sum_i\log\frac{\exp(\text{sim}(I_i,T_i)/\tau)}{\sum_j\exp(\text{sim}(I_i,T_j)/\tau)}+\text{(対称項)}。ALIGN (arXiv:2102.05918) 1.8B noisy alt-text、OpenCLIP (arXiv:2212.07143) LAION-2B OSS。VLMs: Flamingo (arXiv:2204.14198) Perceiver Resampler・BLIP-2 (arXiv:2301.12597) Q-Former・LLaVA (arXiv:2304.08485) 線形 projection・InternVL (arXiv:2312.14238)。GPT-4o/Claude 3/Gemini 1.5 Pro が production 標準。拡張: ImageBind (arXiv:2305.05665) 6 モダリティ共有埋込・VideoMAE 動画・Point-MAE 3D 点群。これらが visual encoder スタックとなり LLM fine-tuning と組合せて 2026 multimodal foundation の核。

2026 フロンティア

以下 6 件は 2026-05 時点で外部検証ができていない [VERIFY]: o1/o3 詳細・s1 budget-forced reasoning・PRM 系列・V-JEPA 2/DreamerV3 派生・AlphaProof/LLM+SAT・OpenCLIP 2025 ベンチ。TTT (Sun 2019/2020, arXiv:1909.13231) 推論時 SSL 勾配更新で domain gap を埋める、TTT++ (arXiv:2105.10019) online MMD alignment。Test-time scaling: o1/o3・DeepSeek-R1 長 CoT (32K+)・MCTS・PRM で計算を精度に交換。TTA: TENT (arXiv:2006.10726) BN affine をエントロピー最小化で更新。ICL 解釈は Bayesian (Xie 2021, arXiv:2111.02080)・implicit gradient descent (Akyürek 2022, arXiv:2212.07677)・task retrieval の 3 系統。Agentic: STaR (arXiv:2203.14465)・ReST (arXiv:2308.08998)・Constitutional AI (Bai 2022, arXiv:2212.08073)。World Models: V-JEPA (Bardes 2023, arXiv:2312.00786)・DreamerV3 (arXiv:2301.04104)。Neural-Symbolic: AlphaCode/AlphaProof・LLM+verifier・differentiable programming。

失敗モード — 5 つのアンチパターン

アンチパターン症状原因対策
分布シフト無視本番精度急落covariate/label/concept shift・shortcut (Geirhos 2020, arXiv:2004.07780)重要度重み付け・OOD 評価・IRM/GroupDRO・drift detection
ラベルノイズ高 train / 低 test対称/非対称/インスタンス依存Co-teaching (Han 2018)・DivideMix (arXiv:2002.07394)・Confident Learning (arXiv:1911.00068)
評価ゲーミングbenchmark→実用低Goodhart・混入・RM collapsehold-out/contamination 監査・複数 RM・semantic faithfulness
データ漏洩CV 良好→本番惨敗時間/特徴/前処理漏洩TimeSeriesSplit・特徴源監査・sklearn Pipeline
偽相関OOD 劇的劣化lexical overlap・dataset 固有特徴adversarial aug・IRM (arXiv:1907.02893)・causal representation

5 型は SSL/転移/MTL/continual/FL で再帰する共通モード。

See also

Backlinks

Local graph