Machine Learning（機械学習）

article technology medium #machine-learning#supervised-learning#unsupervised-learning#semi-supervised#self-supervised#linear-regression#logistic-regression#svm#kernel-trick#decision-tree#random-forest#xgboost#lightgbm#catboost#gradient-boosting#bagging#boosting#stacking#k-means#dbscan#hdbscan#gmm#pca#tsne#umap#feature-engineering#target-encoding#smote#adasyn#imbalanced-learning#lasso#ridge#elastic-net#bias-variance#double-descent#k-fold#stratified-kfold#group-kfold#time-series-split#nested-cv#data-leakage#auroc#pr-auc#f1#mcc#brier-score#ece#isotonic-regression#platt-scaling#optuna#hyperband#bohb#bayesian-optimization#gaussian-process#mcmc#nuts#variational-inference#propensity-score#doubleml#causal-forest#uplift#arima#sarima#prophet#nbeats#tft#n-hits#chronos#timegpt#moirai#shap#lime#partial-dependence#ice#counterfactual#mlflow#dvc#feast#evidently#drift-detection#scikit-learn#statsmodels#rapids-cuml#autogluon#flaml#pycaret#h2o#tabpfn#carte#conformal-prediction#no-free-lunch#simpsons-paradox#goodharts-law
Created: 2026-05-27 Updated:

古典 ML→GBM (XGBoost/LightGBM/CatBoost) tabular 支配、教師なし (K-means/PCA/UMAP)、CV/較正、HPO、ベイズ、因果、時系列、XAI、MLOps、TabPFN を俯瞰。

Machine Learning（機械学習）

ML はデータから fθ:X→Yf_\theta:\mathcal{X}\to\mathcal{Y} を経験的に学ぶ枠組みで、深層学習 (tech-67) はその部分集合。SVM 1995→RF 2001→GBM 2001→XGBoost 2016→LightGBM 2017→CatBoost 2018 が tabular 主軸。No Free Lunch (Wolpert 1997) により万能はなく帰納バイアスとデータの整合が成否を決める。Transformer は tech-35、RL は tech-65、運用は tech-64。

問題設定と分類

Supervised は (x,y)(x,y) で期待損失最小化、Unsupervised は P(x)P(x)/構造 (K-means/PCA/GMM/AE)、Semi-supervised は少量ラベル+大量未ラベル、Self-supervised はデータ自身でラベル生成 (BERT/SimCLR/MAE→tech-49)、RL (tech-65)、Online/Batch。Inductive vs Transductive。No Free Lunch ゆえターゲット分布で検証必須。

古典アルゴリズム

線形回帰 OLS、ロジスティック回帰 sigmoid+CE、Perceptron (1958)。k-NN は Cover-Hart 1967 で 1-NN 誤差 ≤2×\le 2\timesBayes。Naive Bayes は条件独立でテキスト分類強い。SVM (Vapnik-Cortes 1995) はマージン最大化+ソフトマージン、カーネルトリックで RBF/多項式、SMO、O(n2∼n3)O(n^2\sim n^3)。決定木: ID3→C4.5→CART (Breiman 1984) 二分+Gini/MSE が sklearn 標準、解釈性+スケール不要、greedy/高分散が弱点。

アンサンブル学習

期待損失=Bias²+Variance+Noise。Bagging (1996) は bootstrap+独立訓練+投票/平均。Random Forest (2001) は bagging+各分割 m≈pm\approx\sqrt{p} ランダム特徴で相関低減、OOB error。AdaBoost (1997)→GBM (Friedman 2001) は損失負勾配に CART フィット。XGBoost (2016) は L2 葉重み+二次 Taylor+weighted quantile sketch+sparsity-aware で Kaggle 席巻。LightGBM (2017) は GOSS+EFB+ヒストグラム+leaf-wise で高速。CatBoost (2018) は ordered boosting で target encoding 漏洩を順列で防ぎカテゴリ native+対称木、ヘテロ tabular で最強候補。Grinsztajn 2022 は ensemble tree が tabular で DNN 競合維持と実証。Stacking (Wolpert 1992) は base+OOF メタ学習器。

教師なし学習と次元削減

K-means (Lloyd 1957) は WCSS 最小化、k-means++ (2007) で初期化改善。階層的 linkage は Ward 含む。DBSCAN (1996) は密度ベース+任意形状+外れ値、HDBSCAN で密度可変。GMM は EM (1977)、BIC で kk 選択。Spectral Clustering はグラフ Laplacian 固有ベクトル→k-means。PCA (1901) は SVD 分散最大化、Kernel PCA で非線形。t-SNE (2008) は Student-t で混雑緩和。UMAP (2018) はグローバル構造保持で大規模可視化標準。ICA は非ガウス独立成分で BSS。

特徴工学と前処理

Encoding: One-hot/Ordinal/Target (OOF 必須、CatBoost ordered statistics で漏洩対策)/Hashing/entity embedding。Scaling: Standard/Robust/Quantile—SVM/線形/k-NN/PCA は必須、木モデル不要。Imputation: MICE が MAR で最良、informative missingness は indicator 追加。Feature Construction: 多項式交互作用、日付 sin/cos、group-by 集約、比率。<100k 行 tabular ではドメイン知識+木モデルが DL を上回り、TabPFN/CARTE が一部置換中。

正則化とバイアス分散

期待 MSE = Bias² + Variance + Noise。Belkin 2019 double descent で補間閾値超過後に test 誤差再降下、古典 U 字を補正 (→tech-67)。Lasso (1996) は L1 スパース=特徴選択。Ridge は L2 で多重共線性に強い。Elastic Net (2005) は L1+L2 で grouping。早期停止は線形で L2 と等価。

クロスバリデーション

train/val/test 三分割で test は最終一度限り。K-Fold (k=5,10k=5,10)、Stratified K-Fold は不均衡必須、GroupKFold は患者/ユーザ/店舗単位で漏洩防止、TimeSeriesSplit は expanding/sliding で絶対シャッフルしない、Nested CV は外=モデル選択/内=HPO で選択バイアス除去。データ漏洩 5 型: (1) 前処理を分割前 fit、(2) target leakage、(3) 時間漏洩、(4) 行重複、(5) GroupKFold 失念。sklearn Pipeline で fold 内に閉じる。

評価指標と較正

回帰: MSE/MAE/RMSE/MAPE/R²/Huber。分類: Accuracy は不均衡誤導、Precision/Recall/F1、AUROC は閾値非依存だが不均衡で PR-AUC が優位、MCC は均衡、Log loss。Ranking: NDCG@k/MRR/MAP@k。較正: Brier、ECE、Platt、isotonic、Temperature scaling (Guo 2017) で DNN を post-hoc 較正。

ハイパーパラメータ探索

Grid は小空間網羅。Random Search (2012) は実効次元低時 Grid を上回る。Bayesian Optimization (Snoek 2012) は GP 代理+EI/UCB/PI。Optuna TPE (2019) は条件付き探索+Hyperband プルーニングで実務標準。Hyperband (2017) は bandit、BOHB=TPE+Hyperband。PBT はピア重みコピー+HP 摂動。LR/正則化は log スケール。

不均衡データ

正例稀 (詐欺 0.1%、疾病 1-5%) で accuracy 誤導。class weights は oversampling と等価。Undersampling: Tomek/ENN/NearMiss。Oversampling: SMOTE (2002) は k-NN 間線形補間、ADASYN は決定境界近傍重視、imbalanced-learn が網羅。アルゴリズム的: Focal Loss (2017)、コスト感受、閾値移動、BalancedBagging。

ベイズ的 ML

Bayesian Linear は MAP=Ridge 等価。Gaussian Process (Rasmussen 2006) は関数上分布、RBF/Matérn で事前知識エンコード、Exact O(n3)O(n^3)、Sparse GP+GPyTorch で GPU。MCMC: Gibbs/NUTS (2014)、Stan/PyMC/NumPyro。VI は ELBO 最大化。Bayesian NN: MC Dropout (2016)、Deep Ensembles (2017) が実用最強。

因果推論

Potential Outcomes (Rubin 1974) は ATE で同時観測不可。SCM (Pearl 2009) は DAG+do-calculus。RCT=A/B test。Propensity Score (1983) で Matching/IPW、強い無視可能性が前提。IV は 2SLS+除外制約。DiD は平行トレンド、Callaway-Sant’Anna 2021 で staggered。Synthetic Control (Abadie 2010)。DoubleML (2018) は ML で nuisance partial out→Neyman 直交で低バイアス。Causal Forest/GRF (Wager-Athey 2018) は heterogeneous treatment effect τ(x)\tau(x) を honest splitting で推定。Uplift: T/S/X/R-learner。

時系列予測

ARIMA (Box-Jenkins 1970) AR(p)+I(d)+MA(q)、線形+定常制約。ETS/Holt-Winters。VAR+Granger。Prophet (2017) は trend+Fourier+休日+changepoint で業務系標準。N-BEATS (2020) は M4 優勝。TFT (2021) は self-attention+LSTM+変数選択。N-HiTS (2023) は階層補間。Foundation Models: TimeGPT/Chronos/Moirai/Lag-Llama/MOMENT—最終 SOTA/版数は 未確認。

解釈可能性 (XAI)

MDI は高基数/相関でバイアス→permutation で補う。SHAP (Lundberg-Lee 2017) は Shapley 値で efficiency/symmetry/dummy/additivity を満たす唯一解、TreeSHAP O(TLD2)O(TLD^2)、Interventional vs Conditional 論争。LIME (2016) は摂動近傍で局所線形代理、不安定性が弱点。PDP (2001)/ICE で異質性発見。反実仮想 (2017)=実行可能リコース、DiCE。

MLOps と運用

MLflow は tracking+Models registry、W&B、DVC は Git for data。Feature Store: Feast は online+offline+point-in-time correct join で漏洩防止、Tecton は商用。目的は train-serve skew 防止。Drift: covariate/concept、検出は KS/Chi/Wasserstein/MMD、Evidently AI+Alibi Detect。Deployment: shadow/A-B/canary。LLMOps は tech-64。

ツールエコシステム

scikit-learn (BSD-3) が de-facto、statsmodels は統計推論、XGBoost/LightGBM/CatBoost が GBM 三巨頭、RAPIDS cuML は GPU sklearn API、Optuna は HPO 標準。AutoML: PyCaret、H2O、AutoGluon (Amazon) は tabular+image+text+時系列 stacking 既定、FLAML、Auto-sklearn。2026-05 最新版は 未確認。

2026 フロンティア

TabPFN (Hollmann 2023 ICLR) は Prior-Fitted Network=合成 Bayesian network データで事前学習した Transformer が test 時に勾配更新なしで “in-context Bayesian inference” 実行、<10k 行 tabular 分類で AutoML 超え、v2/Nature 2024 未確認。CARTE (2024) は multi-table foundation model 未確認。Tabular LLMs: TabLLM は行直列化、GreaT は合成データ生成。Conformal Prediction (Vovk 2005) は分布フリーカバレッジ保証で本番採用拡大。Neural Process は GP 近似メタ学習。

落とし穴と教訓

データ漏洩 #1 楽観バイアス源 (5 型)。生存バイアス=失敗観測欠落。Simpson’s Paradoxは集計で部分傾向反転→DAG で層別。p-Hacking は FDR/事前登録で抑制。Goodhart’s Law=reward hacking (tech-65)。分布シフト: 共変量/概念/事前確率。Train-Serve Skew: feature store で防止。多重共線性: VIF/L2/PCA。特徴選択: CV ループ内に。No Free Lunch。Double Descent (tech-67)。

未確認事項 (確認時点 2026-05)

情報カットオフ ~2025-08 のため、2026-05 時点で再検証を要する項目: (1) sklearn/XGBoost/LightGBM/CatBoost/Optuna/MLflow 現行版、(2) TabPFN v2 Nature 2024、(3) CARTE venue、(4) Chronos/Moirai/TimeGPT 版数、(5) N-BEATS/N-HiTS/TFT SOTA、(6) Conformal Prediction 成熟度、(7) TabLLM/GreaT ベンチ、(8) Python 3.13 互換、(9) H2O OSS、(10) DoubleML/econml/grf、(11) MLflow 3.x、(12) Evidently/DVC 現行版。

See also

Backlinks

Local graph