[機械学習のはじめ方] Part24: 特徴量の重要度と選択

はじめに：なぜ特徴量の重要度と選択が大切なの？ 🤔

機械学習モデルを構築する際、手元にあるすべてのデータ（特徴量）をそのまま使うのが常に最善とは限りません。特徴量の中には、モデルの予測に大きく貢献するものもあれば、ほとんど役に立たないもの、場合によってはノイズとなって性能を悪化させてしまうものもあります。

「特徴量の重要度」を評価し、「特徴量選択」を行うことで、以下のようなメリットがあります。

• ✅ モデルの精度向上: ノイズとなる特徴量を除外し、重要な特徴量に焦点を当てることで、予測精度が向上することがあります。
• 🧩 モデルの解釈性向上: 特徴量の数を減らすことで、モデルがどのように予測を行っているのか理解しやすくなります。
• ⏱️ 学習時間の短縮: 使用する特徴量が少なくなれば、モデルの学習に必要な計算コストや時間が削減されます。
• 📉 過学習のリスク低減: 不要な特徴量、特に学習データにのみ強く関連する特徴量を除外することで、未知のデータに対する汎化性能を高め、過学習を防ぐことができます。

このステップは、より効果的で信頼性の高い機械学習モデルを構築するための鍵となります🔑。さあ、特徴量の重要度を評価し、最適な特徴量を選択する方法を学んでいきましょう！

特徴量の重要度とは？ 📊

特徴量の重要度とは、特定の機械学習モデルが予測を行う際に、各特徴量がどの程度影響を与えているか、あるいは貢献しているかを示す指標です。重要度が高い特徴量ほど、モデルの予測結果を左右する力が強いと考えられます。

ただし、注意点があります。特徴量の重要度は、使用するモデルの種類によって計算方法が異なり、得られる値も変わることがあります。例えば、決定木ベースのモデルと線形モデルでは、重要度の算出アプローチが異なります。そのため、「絶対的な特徴量の重要度」というものは存在せず、あくまで「特定のモデルにおける相対的な重要度」として解釈する必要があります。

特徴量の重要度を算出する主な手法 ✨

特徴量の重要度を算出するには、いくつかの代表的な手法があります。ここでは、よく使われるものをいくつか紹介します。

1. 決定木ベースの手法

決定木や、それを発展させたランダムフォレスト、勾配ブースティングなどのアンサンブル学習モデルでは、比較的簡単に特徴量の重要度を計算できます。

• Gini Importance (不純度減少量に基づく重要度):
  • 決定木の各ノードで分割に使われた特徴量が、どれだけ不純度（Gini不純度やエントロピー）を減少させたかに基づいて計算されます。
  • メリット: 計算が高速。
  • デメリット: カテゴリ数の多い特徴量や連続値の特徴量の重要度を過大評価する傾向があります。また、モデルが学習データに過学習している場合、その影響を受けやすいです。
  • scikit-learnの決定木ベースのモデル（DecisionTreeClassifier, RandomForestClassifier, GradientBoostingClassifierなど）では、学習後にfeature_importances_属性から取得できます。
• Permutation Importance (パーミュテーション重要度):
  • ある特徴量の値をランダムにシャッフル（パーミュテーション）したときに、モデルの性能（例: 精度、AUCなど）がどれだけ低下するかを計測します。性能低下が大きいほど、その特徴量は重要であると判断します。
  • メリット: モデルの種類に依存せず適用可能（モデル非依存）。Gini Importanceの欠点を克服しており、より信頼性が高いとされることがあります。検証データやテストデータで計算することで、汎化性能に対する重要度を測れます。
  • デメリット: 計算コストが高い（特徴量ごとにモデルの予測を複数回行うため）。相関の高い特徴量が存在する場合、その影響を個々の特徴量に分離するのが難しい場合があります。
  • scikit-learnではsklearn.inspection.permutation_importance関数で計算できます。
• SHAP (SHapley Additive exPlanations):
  • 協力ゲーム理論におけるシャープレイ値に基づいて、各特徴量が個々の予測に対してどのように貢献しているかを算出します。単に全体的な重要度だけでなく、特定の予測に対する各特徴量の影響度（正負を含む）を解釈できるのが大きな特徴です。
  • メリット: モデルの予測に対する各特徴量の貢献度をローカル（個々の予測）とグローバル（全体）の両方で解釈できます。理論的な裏付けがしっかりしています。
  • デメリット: 計算コストが高い場合があります。特に、モデル非依存のKernel SHAPは時間がかかることがあります。
  • 専用のライブラリ（SHAP）を使って計算します。

2. 線形モデルベースの手法

線形回帰やロジスティック回帰などの線形モデルでは、学習後に得られる各特徴量の係数（重み）の大きさが、その特徴量の重要度を示す一つの指標となります。

• 係数の絶対値が大きいほど、その特徴量が予測値に与える影響が大きいと考えられます。
• メリット: 解釈が直感的で容易。
• デメリット:
  • 特徴量間のスケールが異なると、係数の大きさだけでは単純比較できません（事前に標準化などのスケーリングが必要です）。
  • 多重共線性（相関の高い特徴量が存在する状況）があると、係数が不安定になり、解釈が難しくなることがあります。
  • L1正則化（Lasso）のように、係数が0になる性質を利用して特徴量選択を行う手法もあります（後述）。

特徴量選択の手法 🎯

特徴量の重要度が評価できたら、次はその情報を使って実際に使用する特徴量を選ぶ「特徴量選択」を行います。特徴量選択の手法は、大きく3つのカテゴリに分けられます。

Python (scikit-learn) での実装例 🐍

ここでは、scikit-learnライブラリを使って、いくつかの特徴量重要度評価と選択の手法を実装する例を見てみましょう。

1. 決定木ベースの重要度 (feature_importances_)

ランダムフォレストを使ってGini Importanceを計算します。

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

# サンプルデータの生成
X, y = make_classification(n_samples=1000, n_features=10, n_informative=3, n_redundant=0, random_state=42, shuffle=False)

# ランダムフォレストモデルの学習
model = RandomForestClassifier(random_state=42)
model.fit(X, y)

# 特徴量の重要度を取得
importances = model.feature_importances_

# 重要度を表示
for i, imp in enumerate(importances):
    print(f'Feature {i}: {imp:.4f}')

2. Permutation Importance

学習済みモデルに対してPermutation Importanceを計算します。

from sklearn.inspection import permutation_importance
import numpy as np

# Permutation Importanceの計算 (ここでは訓練データを使用するが、検証データ推奨)
result = permutation_importance(model, X, y, n_repeats=10, random_state=42, n_jobs=-1)

# 重要度（平均）を表示
sorted_idx = result.importances_mean.argsort()
for i in sorted_idx:
    print(f'Feature {i}: {result.importances_mean[i]:.4f} +/- {result.importances_std[i]:.4f}')

3. フィルタ法: SelectKBest

F検定（回帰問題用、分類ではchi2など）を使って上位k個の特徴量を選択します。

from sklearn.feature_selection import SelectKBest, f_regression
from sklearn.datasets import make_regression

# 回帰用サンプルデータの生成
X_reg, y_reg = make_regression(n_samples=100, n_features=10, n_informative=5, random_state=42)

# 上位5個の特徴量を選択
selector = SelectKBest(score_func=f_regression, k=5)
X_new = selector.fit_transform(X_reg, y_reg)

print(f'Original number of features: {X_reg.shape[1]}')
print(f'Selected number of features: {X_new.shape[1]}')

# 選択された特徴量のインデックス
selected_indices = selector.get_support(indices=True)
print(f'Selected feature indices: {selected_indices}')

4. ラッパー法: RFE (Recursive Feature Elimination)

指定したモデル（ここでは線形回帰）を使って、重要度の低い特徴量を繰り返し削除します。

from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression

# 線形回帰モデルを使用
estimator = LinearRegression()

# 5個の特徴量を選択するようにRFEを設定
selector_rfe = RFE(estimator, n_features_to_select=5, step=1)
selector_rfe = selector_rfe.fit(X_reg, y_reg)

# 選択された特徴量のマスク (True/False)
print(f'Selected features mask: {selector_rfe.support_}')
# 選択された特徴量のランキング (1が最も重要)
print(f'Feature ranking: {selector_rfe.ranking_}')

5. 埋め込み法: Lasso (L1正則化)

Lasso回帰は、一部の特徴量の係数を正確に0にするため、特徴量選択としても利用できます。

from sklearn.linear_model import Lasso
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

# Lassoを使う前に標準化を行うことが推奨される
pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('lasso', Lasso(alpha=0.1, random_state=42)) # alphaは調整が必要なハイパーパラメータ
])

pipeline.fit(X_reg, y_reg)

# モデルからLassoオブジェクトを取得
lasso_model = pipeline.named_steps['lasso']

# 0でない係数を持つ特徴量を確認
print(f'Coefficients: {lasso_model.coef_}')
selected_features_lasso = np.where(lasso_model.coef_ != 0)[0]
print(f'Selected feature indices by Lasso: {selected_features_lasso}')

これらのコードは基本的な使い方を示すものです。実際のタスクでは、データセットの特性やモデルの目的に合わせて、手法やハイパーパラメータを適切に選択・調整する必要があります。

注意点とベストプラクティス 💡

• モデル依存性: 特徴量の重要度は計算に使用するモデルに依存します。異なるモデルでは、重要とされる特徴量が異なる可能性があります。
• 相関の高い特徴量: 特徴量間に強い相関（多重共線性）があると、一部の手法（特に線形モデルの係数やGini Importance）では重要度が不安定になったり、一方の特徴量に重要度が偏ったりすることがあります。Permutation ImportanceやSHAPは、この問題に対して比較的頑健ですが、解釈には注意が必要です。
• ドメイン知識の活用: 統計的な指標だけでなく、問題領域に関する知識（ドメイン知識）も活用しましょう。ビジネス上重要だとわかっている特徴量は、たとえ指標上での重要度が低くても残す価値があるかもしれません。
• 情報損失のリスク: 特徴量選択は次元削減や過学習抑制に役立ちますが、選択しすぎるとモデルに必要な情報まで失ってしまう可能性があります。どの程度の数の特徴量を選択するかは慎重に決定する必要があります。
• 交差検証との組み合わせ: 特徴量選択のプロセス自体が過学習を引き起こす可能性もあります（特にラッパー法）。特徴量選択の妥当性を評価し、最終的なモデルの性能を汎化的に評価するためには、交差検証（Cross-Validation）と組み合わせて行うことが非常に重要です。RFECVやSelectFromModelなど、交差検証を組み込んだscikit-learnの機能も活用しましょう。
• 因果関係ではない: 特徴量の重要度は、あくまでモデルの予測における「相関的な」貢献度を示すものであり、特徴量と目的変数との間の「因果関係」を示すものではありません。

まとめ 🎉

特徴量の重要度評価と特徴量選択は、機械学習プロジェクトにおいて非常に重要な工程です。これにより、モデルの性能向上、解釈性の向上、計算コストの削減、過学習の抑制といった多くのメリットが期待できます。

様々な評価手法（Gini Importance, Permutation Importance, SHAP, 係数）と選択手法（フィルタ法, ラッパー法, 埋め込み法）が存在し、それぞれにメリット・デメリットがあります。データやモデル、目的に合わせて適切な手法を選択し、注意点を理解した上で適用することが重要です。

この知識を活用して、より洗練された、信頼性の高い機械学習モデルを構築していきましょう！💪