ディープラーニングの世界に足を踏み入れると、様々な専門用語に出会います。その中でも「モーメンタム（Momentum）」は、モデルの学習を効率的に進めるために非常に重要な概念です。 この記事では、ディープラーニングにおけるモーメンタムとは何か、その仕組みやメリット・デメリットについて、初心者の方にも分かりやすく解説します。
そもそも「モーメンタム」とは？
ディープラーニングの文脈に入る前に、「モーメンタム」という言葉の元々の意味に触れておきましょう。
物理学の世界：慣性・勢い
物理学において、モーメンタムは「運動量」と訳され、物体の運動の勢いを示す量です。「質量 × 速度」で計算されます。一度動き出した物体が、なかなか止まらずに動き続けようとする性質、つまり「慣性」と深く関わっています。例えば、坂道を転がるボールは、平坦な場所に来てもすぐには止まらず、しばらく転がり続けます。これがモーメンタムの働きです。
金融・投資の世界：相場の勢い
金融や投資の分野でもモーメンタムという言葉が使われます。この場合、「相場の勢いや方向性」を指します。価格が上昇傾向にある銘柄は、その勢いのまましばらく上昇し続ける可能性が高い、という考え方に基づいた投資手法を「モーメンタム投資」と呼びます。
ディープラーニングにおけるモーメンタムは、この物理学の「慣性」の考え方を応用した技術です。
ディープラーニングにおけるモーメンタムの役割
ディープラーニングにおけるモーメンタムは、ニューラルネットワークの学習（重みの更新）を効率化するための「最適化手法」の一つです。 ディープラーニングの学習は、損失関数（モデルの予測と正解の誤差を示す関数）の値を最小化するパラメータ（重み）を見つけ出す作業であり、これはしばしば「険しい山を下る」ことに例えられます。
最も基本的な最適化手法である「確率的勾配降下法（SGD）」は、損失関数の「今いる場所の傾き（勾配）」だけを見て、最も急な方向へ一歩ずつ進む方法です。しかし、この方法には以下のような課題があります。
- 学習の停滞：地形が平坦な場所（鞍点など）に来ると、傾きがほぼゼロになり、身動きが取れなくなってしまうことがあります。
- 非効率な動き：谷底に向かう道がジグザグしている場合、左右に何度も振動しながら少しずつしか進めず、学習に時間がかかります。
- 局所最適解：本当の最小値（最適解）ではない、くぼみ（局所最適解）に一度はまると、そこから抜け出せなくなることがあります。
モーメンタムは、ここに「慣性」の考え方を導入します。つまり、「過去に進んできた方向」の情報を加味して、次の一歩を決めるのです。 これにより、坂道を転がるボールのように、勢いをつけて学習を進めることができます。
- 平坦な場所に来ても、それまでの勢いで進み続けることができる。
- ジグザグな道でも、過去の進行方向の力が働くため、振動が抑制され、よりスムーズに谷底へ向かうことができる。
- 小さなくぼみ（局所最適解）なら、勢いで乗り越えてさらに先へ進むことができる。
メリットとデメリット
モーメンタムを導入することによるメリットとデメリットをまとめると、以下のようになります。
| メリット | デメリット |
|---|---|
|
学習の高速化 更新方向の振動を抑制し、最適解へ向かう速度が速くなります。SGDよりも少ない更新回数で収束することが期待できます。 |
行き過ぎ（Overshooting） 勢いがつきすぎて、最適解を通り過ぎてしまうことがあります。その結果、最適解の周りを振動し続ける可能性があります。 |
|
局所最適解や鞍点からの脱出 慣性の力で、勾配がゼロに近い「くぼみ」や「平坦な領域」を乗り越え、学習の停滞を防ぐことができます。 |
ハイパーパラメータの追加 「モーメンタム係数」という新しいハイパーパラメータを調整する必要があります。この値が大きすぎたり小さすぎたりすると、うまく機能しません。（一般的には0.9などが用いられます） |
Python (Keras) での実装例
多くのディープラーニングフレームワークでは、モーメンタムは簡単に利用できます。例えば、PythonのライブラリであるTensorFlowのKeras APIでは、オプティマイザとしてSGDを選択し、引数 momentum に値を設定するだけで実装できます。
<!-- TensorFlow (Keras) をインポート -->
import tensorflow as tf
from tensorflow import keras
<!-- モデルを構築 (例) -->
model = keras.Sequential([
keras.layers.Dense(128, activation='relu', input_shape=(784,)),
keras.layers.Dense(10, activation='softmax')
])
<!-- モーメンタム付きSGDオプティマイザを定義 -->
# 学習率(learning_rate)とモーメンタム係数(momentum)を指定
optimizer_with_momentum = tf.keras.optimizers.SGD(learning_rate=0.01, momentum=0.9)
<!-- モデルをコンパイル -->
model.compile(optimizer=optimizer_with_momentum,
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.summary()
このように、わずかなコードの変更でモーメンタムの恩恵を受けることができます。なお、現在ではモーメンタムの考え方を発展させた、AdamやRMSpropといった、より高機能な最適化手法が広く使われる傾向にあります。これらの手法の多くも、内部でモーメンタムに似た概念を利用しています。
まとめ
今回は、ディープラーニングにおける「モーメンタム」について解説しました。
- モーメンタムは、物理学の「慣性」を応用した最適化手法の一つ。
- 過去の更新情報を利用することで、学習の高速化や安定化に寄与する。
- 局所最適解や鞍点に陥って学習が停滞するのを防ぐ効果がある。
- 現在主流のAdamなどの最適化手法にも、その考え方が活かされている。
モーメンタムは、ディープラーニングの学習がどのように進むのかを理解する上で、非常に基本的かつ重要な概念です。この仕組みを知ることで、なぜ学習がうまくいかないのか、どうすれば改善できるのかを考える上での大きなヒントになるでしょう。