【初心者向け】k-分割交差検証とは？機械学習モデルの精度を正しく評価する方法

k-分割交差検証（けーぶんかつこうさけんしょう）とは、手元にあるデータを有効活用して、機械学習モデルの性能（汎化性能）をより正確に評価するための手法です。汎化性能とは、モデルが未知のデータに対してどれだけ正しく予測できるか、という能力のことです。

この手法の基本的な考え方は、「データをk個のグループに分割し、学習とテストをk回繰り返す」というものです。これにより、データの一部だけを使って評価するよりも、信頼性の高い評価結果を得ることができます。

最も簡単な評価方法は、データを学習用とテスト用に1度だけ分ける「ホールドアウト検証」です。しかし、この方法には「たまたま分割したデータによって評価結果が大きく変わってしまう」という弱点があります。

• たまたま簡単な問題ばかりがテストデータに含まれると、モデルの性能が過剰に良く見えてしまう。
• 逆に、たまたま難しい問題ばかりだと、不当に低く評価されてしまう。

k-分割交差検証は、このようなデータの偏りによる影響を減らし、より安定した客観的な評価を行うために使われます。

k-分割交差検証は、以下のステップで進められます。ここでは、k=5の場合を例に説明します。

1. 分割: まず、手持ちのデータ全体をk個（この例では5個）の同じサイズのグループ（これを「fold」と呼びます）にランダムに分割します。
2. 学習と評価の繰り返し: 次に、k回の学習と評価を繰り返します。
   • 1回目: 1番目のfoldを「テストデータ」、残りの4つのfoldを「学習データ」としてモデルを学習させ、性能を評価します。
   • 2回目: 2番目のfoldを「テストデータ」、残りの4つのfoldを「学習データ」としてモデルを学習させ、性能を評価します。
   • これを5回目まで、すべてのfoldが1回ずつテストデータになるように繰り返します。
3. 評価指標の平均化: 最後に、k回（5回）の評価で得られた性能指標（例: 正解率）の平均値を計算します。この平均値が、モデルの最終的な評価スコアとなります。

k-分割交差検証には、以下のようなメリットとデメリットがあります。

kの値に決まったルールはありませんが、一般的には5または10がよく使われます。

• kの値を大きくすると:
  • メリット: 学習データに使えるデータ量が増え、より現実に近い評価ができます。
  • デメリット: 計算時間が長くなります。
• kの値を小さくすると:
  • メリット: 計算時間が短くなります。
  • デメリット: 評価の信頼性が若干低下する可能性があります。

データセットのサイズや計算機のリソースを考慮して、適切なkの値を決めることが重要です。

Pythonの機械学習ライブラリであるscikit-learnを使うと、k-分割交差検証を簡単に実装できます。 `cross_val_score` という関数を使えば、数行のコードで実行可能です。

from sklearn.model_selection import cross_val_score, KFold
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression

# サンプルデータの生成
X, y = make_classification(n_samples=100, n_features=20, random_state=42)

# 使用するモデルのインスタンスを作成
model = LogisticRegression()

# k-分割交差検証の設定 (k=5)
# n_splitsで分割数を指定, shuffle=Trueで分割前にデータをシャッフルする
kf = KFold(n_splits=5, shuffle=True, random_state=42)

# 交差検証の実行
# cv引数に作成したKFoldオブジェクトを渡す
scores = cross_val_score(model, X, y, cv=kf)

# 各回のスコアと平均スコアを表示
print(f"各回のスコア: {scores}")
print(f"平均スコア: {scores.mean():.2f}")
print(f"スコアの標準偏差: {scores.std():.2f}")
        

k-分割交差検証には、「層化k-分割交差検証（Stratified K-Fold Cross-Validation）」という重要なバリエーションがあります。

これは、特に分類問題で使われる手法です。通常のk-分割交差検証では、データをランダムに分割するため、各foldのクラスの比率（例えば、陽性・陰性の割合）が元のデータセットと異なってしまう可能性があります。特に、特定のクラスのデータが極端に少ない「不均衡データ」の場合、この問題は深刻になります。

層化k-分割交差検証は、各foldのクラスの比率が、元のデータセットの比率と同じになるようにデータを分割します。これにより、より公平で信頼性の高い評価が可能になります。scikit-learnでは `StratifiedKFold` を使うことで実装できます。

k-分割交差検証は、機械学習モデルの性能を客観的かつ安定して評価するための非常に強力な手法です。

• データをk個に分割し、学習とテストをk回繰り返すことで評価の信頼性を高める。
• データの偏りによる影響を減らし、汎化性能をより正確に測れる。
• 計算コストはかかるが、それに見合うだけの信頼できる評価結果が得られる。
• 分類問題、特に不均衡データでは層化k-分割交差検証が推奨される。

作成したモデルが本当に価値のあるものかを見極めるために、ぜひこのk-分割交差検証を活用してみてください。