はじめに
ディープラーニングの学習を進めていると、「早期終了（Early Stopping）」という言葉を耳にすることがあります。これは、モデルの学習をあえて「早めに終了させる」テクニックのことです。なぜ、学習を最後まで行わずに途中で止めてしまうのでしょうか？
その最大の理由は、「過学習（か学習、Overfitting）」という現象を防ぐためです。この記事では、ディープラーニング初心者の方でも理解できるように、早期終了の仕組みからメリット・デメリット、そして具体的な実装方法までを分かりやすく解説します。
早期終了を理解するための前提知識：「過学習」とは？
早期終了を理解するには、まず「過学習」について知る必要があります。
過学習とは、AIモデルが訓練データを学習しすぎるあまり、そのデータに含まれる細かい特徴やノイズまでをも「完璧に」覚えてしまい、未知の新しいデータに対してはうまく対応できなくなってしまう状態のことです。 例えるなら、テストに出る問題集の答えを丸暗記した生徒が、少し応用された問題が出ると全く解けなくなってしまうのに似ています。
モデルを学習させると、訓練データに対する正解率（精度）はどんどん上がっていきます。しかし、ある時点を境に、訓練には使っていない未知のデータ（検証データ）に対する正解率は逆に低下し始めることがあります。 この、検証データに対する性能が低下し始めるポイントが、過学習が始まったサインです。 早期終了は、このサインを捉えて学習をストップさせることで、モデルの性能が最も良い状態を保つことを目的とします。
早期終了（Early Stopping）の仕組み
早期終了は、具体的にどのように機能するのでしょうか。その仕組みは非常にシンプルです。
- データを分割する：まず、手持ちのデータを「訓練データ」と「検証データ」の2つに分けます。
- 学習と評価を繰り返す：モデルは「訓練データ」だけを使って学習を進めます。そして、一定の学習サイクル（エポック）ごとに、「検証データ」を使ってモデルの性能（一般的には損失関数の値や精度）を評価します。
- 性能の監視と停止：学習が進むと、訓練データに対する損失は下がり続けますが、検証データに対する損失はある時点から下がらなくなり、やがて上昇に転じます。 早期終了は、この検証データの損失が最も小さくなった時点を最適なモデルと判断し、それ以上改善が見られなくなったら学習を自動的に停止させます。
多くのライブラリでは、「patience（我慢）」というパラメータを設定できます。これは、「検証データの性能が何回連続で改善しなかったら学習を停止するか」を指定するものです。 これにより、一時的な性能の悪化で学習がすぐに止まってしまうのを防ぎます。
メリットとデメリット
早期終了は非常に有効なテクニックですが、メリットとデメリットの両方があります。
| 項目 | 内容 |
|---|---|
| メリット |
|
| デメリット |
|
実装例
主要なディープラーニングのフレームワークであるTensorFlow (Keras) やPyTorchでは、簡単に早期終了を実装できます。
TensorFlow (Keras)での実装例
Kerasでは、コールバック機能の一部として `EarlyStopping` が用意されています。 `model.fit()` を呼び出す際に、このコールバックを指定するだけで利用可能です。
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.callbacks import EarlyStopping
# モデルの構築（例）
model = Sequential([
Dense(64, activation='relu', input_shape=(10,)),
Dense(64, activation='relu'),
Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])
# EarlyStoppingコールバックの設定
# val_loss（検証データの損失）を監視し、5エポック改善が見られなければ学習を停止する
# restore_best_weights=True とすることで、最も性能が良かった時点の重みが復元される
early_stopping = EarlyStopping(
monitor='val_loss',
patience=5,
verbose=1,
restore_best_weights=True)
# モデルの学習時にコールバックを渡す
# epochsには十分大きな値を設定しておく
model.fit(X_train, y_train,
epochs=100,
validation_data=(X_val, y_val),
callbacks=[early_stopping])
PyTorchでの実装例
PyTorchには、Kerasのような組み込みのEarlyStopping機能はデフォルトでありませんが、自分でクラスを実装するか、公開されているライブラリを利用するのが一般的です。 以下は、自分で実装する場合のシンプルな例です。
import numpy as np
import torch
class EarlyStopping:
def __init__(self, patience=5, verbose=False, path='checkpoint.pt'):
self.patience = patience
self.verbose = verbose
self.counter = 0
self.best_score = None
self.early_stop = False
self.val_loss_min = np.Inf
self.path = path
def __call__(self, val_loss, model):
score = -val_loss
if self.best_score is None:
self.best_score = score
self.save_checkpoint(val_loss, model)
elif score < self.best_score:
self.counter += 1
if self.verbose:
print(f'EarlyStopping counter: {self.counter} out of {self.patience}')
if self.counter >= self.patience:
self.early_stop = True
else:
self.best_score = score
self.save_checkpoint(val_loss, model)
self.counter = 0
def save_checkpoint(self, val_loss, model):
if self.verbose:
print(f'Validation loss decreased ({self.val_loss_min:.6f} --> {val_loss:.6f}). Saving model ...')
torch.save(model.state_dict(), self.path)
self.val_loss_min = val_loss
# --- 学習ループ内での使い方 ---
# early_stopping = EarlyStopping(patience=5, verbose=True)
#
# for epoch in range(num_epochs):
# # (訓練処理)
# # ...
#
# # (検証処理)
# # val_loss = ...
#
# early_stopping(val_loss, model)
#
# if early_stopping.early_stop:
# print("Early stopping")
# break
#
# # 最良モデルの重みをロード
# model.load_state_dict(torch.load('checkpoint.pt'))
まとめ
早期終了は、ディープラーニングにおける過学習を防ぐための、シンプルかつ非常に効果的な手法です。 検証用データを使ってモデルの汎化性能を監視し、性能の向上が見られなくなった時点で学習を打ち切ることで、計算コストを抑えつつ、最適なモデルを得ることができます。 他の正則化手法（ドロップアウトなど）と組み合わせることで、さらにモデルの性能を高めることも可能です。 ディープラーニングのモデルを訓練する際には、ぜひこの早期終了のテクニックを活用してみてください。