[機械学習のはじめ方] Part5: バイアス・バリアンス・トレードオフ

バイアスとは、簡単に言うとモデルの予測が、真の値から平均的にどれだけずれているかを示す指標です。モデルが持つ「思い込み」や「単純化しすぎ」の度合いと考えることができます。

バリアンスとは、学習に使うデータセットが少し変わったときに、モデルの予測結果がどれだけ変動（ばらつく）するかを示す指標です。モデルが学習データに対してどれだけ「敏感」かを表します。

ここが今回の最も重要なポイントです！バイアスとバリアンスは、多くの場合、一方を減らそうとするともう一方が増えてしまうという関係にあります。これをバイアス-バリアンス トレードオフと呼びます。

• モデルの複雑さを増す（例：より多くの特徴量を使う、多項式回帰の次数を上げる、決定木の深度を深くする）
  • → データへの適合度は上がるため、バイアスは低下する傾向 😊
  • → しかし、データへの敏感さが増し、ノイズを拾いやすくなるため、バリアンスは上昇する傾向 😥
• モデルの複雑さを減らす（例：特徴量を減らす、正則化を強くする、決定木の深度を浅くする）
  • → ノイズの影響を受けにくくなり、バリアンスは低下する傾向 😌
  • → しかし、データの本質的なパターンを捉えきれなくなる可能性があり、バイアスは上昇する傾向 😵

機械学習の目標は、バイアスとバリアンスの両方を可能な限り低く抑え、汎化誤差（未知のデータに対する予測誤差）を最小にするモデルを見つけることです。つまり、単純すぎず（未学習を避け）、複雑すぎない（過学習を避け）、ちょうど良いバランスのモデルを目指す必要があります。🎯

バイアスとバリアンスの関係まとめ

モデルの予測誤差（汎化誤差）は、大まかに「バイアスの二乗」「バリアンス」「削減不能な誤差（ノイズ）」の合計で決まると考えられています。（数式は少し難しいので、ここでは概念として捉えましょう）

良いモデルを構築するためには、このトレードオフを意識し、バイアスとバリアンスの合計が最小になるような「スイートスポット」を見つけることが重要です。具体的には、モデルの評価結果（例：交差検証の結果）を見ながら、以下のような対策を検討します。

具体的な対策例💡