今回は機械学習のアンサンブル手法の一つである「スタッキング」についてご紹介します。スタッキングは、複数の機械学習モデルを組み合わせてより高い予測性能を得るための手法です。以下にスタッキングのメリット、デメリット、用いるモデルについて詳しく解説します。
スタッキングとは
スタッキング（stacking）は、アンサンブル学習の手法の一つで、複数の機械学習モデルを組み合わせることで、より高い予測性能を実現する手法です。スタッキングでは、複数のベースモデル（base model）と呼ばれる予測モデルを用意し、それらの出力を組み合わせて最終的な予測を行います。
スタッキングのメリット
スタッキングの最大のメリットは、複数のモデルの強みを組み合わせることで、より高い予測性能を達成できる点です。異なる種類のモデルを組み合わせることで、それぞれのモデルの弱点を補い、互いの長所を引き出すことができます。また、スタッキングは過学習（overfitting）への耐性が高く、一般的に汎化性能が向上する傾向があります。
スタッキングのデメリット
一方で、スタッキングにはいくつかのデメリットも存在します。まず、ベースモデルのトレーニングには追加の計算リソースと時間が必要となります。さらに、モデルの組み合わせやパラメータの調整には経験とドメイン知識が必要であり、十分な実験やチューニングが必要です。また、スタッキングはモデルの互換性や相性の問題にも注意が必要です。
スタッキングに用いるモデル
スタッキングでは、さまざまなモデルを組み合わせることができます。一般的には、異なる種類のモデルを用いることが推奨されます。以下にスタッキングに用いる一般的なモデルのいくつかを紹介します。
- ベースモデルとしての決定木やランダムフォレスト：これらのモデルは、特徴量の組み合わせに基づいて予測を行います。決定木やランダムフォレストは、データの非線形な関係性を捉える能力があります。
- サポートベクターマシン（SVM）：SVMは、データをより高次元の空間に写像し、境界を見つけることで分類や回帰を行います。SVMは非線形な関係性を捉えることができ、スタッキングのベースモデルとして有用です。
- ニューラルネットワーク（Deep Learning）：ディープラーニングモデルは、多層のニューラルネットワークを使用して高度な特徴抽出と予測を行います。ディープラーニングは非線形な関係性を捉える能力があり、スタッキングのベースモデルとしてもよく用いられます。
- グラディエントブースティングモデル：勾配ブースティングモデルは、弱学習器を順次組み合わせて予測性能を向上させる手法です。勾配ブースティングモデルは、予測の精度と汎化性能の向上に貢献するため、スタッキングに使用されることがあります。
これらのモデルは一部であり、スタッキングに使用できるモデルは問題やデータセットに応じて異なる場合があります。
サンプルコード
下記がスタッキングのサンプルコードとなります。StackingRegressorのライブラリを使うと簡単に実装できます。下記は1層目にRandomForestとGradientBoostを用いています。
import numpy as np
import pandas as pd
from sklearn.datasets import fetch_california_housing # カリフォルニア住宅価格のデータセットを読み込む
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor, GradientBoostingRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.ensemble import StackingRegressor
from sklearn.model_selection import cross_val_score
# カリフォルニア住宅価格のデータセットを読み込む
california_housing = fetch_california_housing()
X, y = california_housing.data, california_housing.target
# データを分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 基本モデルの定義
base_models = [
('rf', RandomForestRegressor(n_estimators=10, random_state=42)), # ランダムフォレストモデル
('gb', GradientBoostingRegressor(n_estimators=10, random_state=42)), # 勾配ブースティングモデル
]
# スタッキングモデルの定義
stacking_model = StackingRegressor(
estimators=base_models,
final_estimator=LinearRegression()
)
# スタッキングモデルの学習
stacking_model.fit(X_train, y_train)
# スタッキングモデルの評価
y_pred_stacking = stacking_model.predict(X_test)
rmse_stacking = np.sqrt(mean_squared_error(y_test, y_pred_stacking))
print(f"スタッキングモデルの平均二乗誤差 (RMSE): {rmse_stacking}")
# 基本モデルの評価
for name, model in base_models:
scores = cross_val_score(model, X_train, y_train, cv=5, scoring='neg_mean_squared_error')
rmse_base = np.sqrt(-scores.mean())
print(f"{name} モデルの平均二乗誤差 (RMSE): {rmse_base}")
スタッキングモデルの方が精度が良くなりました。
まとめ
スタッキングは複数の機械学習モデルを組み合わせることで予測性能を向上させるアンサンブル手法です。スタッキングのメリットは、異なるモデルの強みを引き出し、過学習に対する耐性を持つことです。一方で、ベースモデルのトレーニングや組み合わせの調整には注意が必要です。スタッキングには決定木、ランダムフォレスト、SVM、ニューラルネットワーク、勾配ブースティングなど、さまざまなモデルが使用されます。
スタッキングなどのモデル改善におススメの書籍
Kaggleで勝つデータ分析の技術
こちらは有名な書籍ですが、Kaggleで勝つために様々な特徴量の使い方やモデルの作り方が書かれています。精度で悩んだ際はこちらの書籍を参考にするのがおススメです。
コメント