ディープラーニングや機械学習モデルを訓練する際、その心臓部とも言えるのが「最適化」のプロセスです。この最適化を担う最も基本的なアルゴリズムが勾配降下法（Gradient Descent）です。しかし、この基本的な手法にはいくつかの課題が存在し、それを克服するために様々な改善手法が開発されてきました。
この記事では、勾配降下法の基本的な考え方から、直面する問題点、そしてその問題を解決するために生まれた代表的な改善手法（最適化アルゴリズム）までを、初心者にも分かりやすく解説します。
勾配降下法とは？ 基本の考え方
勾配降下法を理解するために、よく「山を下る」という例えが使われます。 目隠しをした状態で、今いる場所から最も低い谷底（＝最適解）にたどり着きたいと考えてみてください。あなたならどうしますか？
おそらく、足元の地面がどちらの方向に最も傾いているかを探り、その最も急な下り坂の方向へ一歩ずつ進んでいくでしょう。この「傾き」が数学でいう「勾配」であり、傾きに沿って少しずつ進んでいくプロセスが「勾配降下法」です。
機械学習では、「損失関数」と呼ばれるモデルの予測精度（誤差の大きさ）を示す関数があります。この損失関数の値が最小になるようなパラメータ（重み）を見つけ出すことが「学習」の目標です。勾配降下法は、この損失関数の勾配を計算し、勾配が下る方向へパラメータを少しずつ更新していくことで、関数の最小値を探し出します。
勾配降下法の種類
勾配降下法には、学習データをどのように使って勾配を計算するかに応じて、主に3つのバリエーションがあります。
| 種類 | 特徴 | メリット | デメリット |
|---|---|---|---|
| バッチ勾配降下法 (BGD) | 全ての学習データを一度に使って勾配を計算し、パラメータを1回更新する。 | ・安定して最適解に収束しやすい。 ・全体の傾向を正確に捉えられる。 |
・計算コストが非常に高く、学習に時間がかかる。 ・大規模なデータセットには不向き。 |
| 確率的勾配降下法 (SGD) | 学習データの中からランダムに1つだけデータを選び、そのデータだけで勾配を計算してパラメータを更新する。これをデータの数だけ繰り返す。 | ・計算が高速。 ・更新がランダムなため、後述する「局所最適解」から抜け出しやすいことがある。 |
・更新のばらつきが大きく、学習が不安定になりやすい（振動する）。 |
| ミニバッチ勾配降下法 (MBGD) | BGDとSGDの折衷案。学習データをいくつかの小さなグループ（ミニバッチ）に分け、ミニバッチ単位で勾配を計算し、パラメータを更新する。 | ・BGDより高速で、SGDより安定している。 ・計算効率と安定性のバランスが良い。 |
・ミニバッチのサイズを適切に設定する必要がある。 |
現在、ディープラーニングでは、このミニバッチ勾配降下法が最も広く利用されています。
勾配降下法が抱える4つの大きな問題
シンプルで強力な勾配降下法ですが、特にディープラーニングのような複雑なモデルでは、いくつかの深刻な問題に直面します。
-
局所最適解 (Local Minimum) の問題
損失関数が複数の谷を持つ場合、一番深い谷（大域的最適解）ではなく、途中の浅い谷（局所最適解）に 빠まってしまい、そこから抜け出せなくなることがあります。 勾配が0になるため、そこで学習が停止してしまうのです。 -
鞍点 (Saddle Point) の問題
ある方向から見ると谷底（極小値）ですが、別の方向から見ると山頂（極大値）になっているような「馬の鞍」のような形状の点です。 鞍点でも勾配が0になるため、局所最適解と同様に学習が停滞する原因となります。 特に高次元のデータでは、局所最適解よりも鞍点の方がはるかに多く存在することが知られています。 -
学習率 (Learning Rate) の設定問題
勾配の方向にどれだけ進むかを決める「歩幅」を学習率と呼びます。- 学習率が大きすぎる: 最適解を飛び越えてしまい、いつまでも収束しない（発散する）。
- 学習率が小さすぎる: 学習に膨大な時間がかかったり、最適解にたどり着く前に学習が終わってしまったりする。
-
勾配消失・勾配爆発
ディープラーニングのネットワークが深くなる（層が重なる）と、勾配が層を伝播するうちに非常に小さくなったり（勾配消失）、逆に非常に大きくなったり（勾配爆発）する問題が起こります。 これにより、学習が全く進まなくなったり、不安定になったりします。
進化する改善手法たち：主要な最適化アルゴリズム
上記の課題を克服するため、SGDをベースとした様々な改良手法が提案されてきました。ここでは代表的なものを紹介します。
| 手法名 | 概要と特徴 | メリット | デメリット |
|---|---|---|---|
| Momentum | 「慣性（Momentum）」の概念を導入。坂道を転がるボールのように、過去に進んだ方向の情報を現在の更新に加える。 勾配が0になる鞍点や局所最適解でも、勢いで通り抜けやすくなる。 | ・SGDより収束が速い。 ・鞍点や局所最適解で停滞しにくい。 |
・慣性の大きさを決めるハイパーパラメータの調整が必要。 |
| AdaGrad (Adaptive Gradient Algorithm) |
2011年に登場。パラメータごとに学習率を自動で調整する。 これまで大きく更新されたパラメータは学習率を小さく、あまり更新されていないパラメータは学習率を大きくする。 | ・学習率を手動で設定する手間が減る。 ・更新頻度の低いパラメータの学習が進みやすい。 |
・学習が進むと、すべてのパラメータの学習率がどんどん小さくなり、最終的に学習が完全に停止してしまうことがある。 |
| RMSprop (Root Mean Square Propagation) |
AdaGradの「学習が進むと更新が止まる」という問題を改善した手法。 過去の全ての勾配を均等に扱うのではなく、直近の勾配情報をより重視するように調整する。 | ・AdaGradの弱点を克服し、学習が停止しにくい。 ・様々な問題で安定して機能する。 |
・ハイパーパラメータの調整がやや難しい場合がある。 |
| Adam (Adaptive Moment Estimation) |
MomentumとRMSpropを融合させたような手法で、2014年に発表された。 勾配の平均（Momentumに相当）と勾配の二乗の平均（RMSpropに相当）の両方を考慮して更新量を決める。 | ・収束が速く、非常に効率的。 ・ハイパーパラメータの設定が比較的容易で、多くのケースでうまく機能する。 ・現在のデファクトスタンダード（事実上の標準）となっている。 |
・一部のタスクでは、SGDやMomentumの方が汎化性能（未知のデータへの対応力）が高い場合があると報告されている。 |
これらのアルゴリズムは、多くのディープラーニングライブラリ（TensorFlow, PyTorchなど）に実装されており、数行のコードで簡単に切り替えて試すことができます。
# TensorFlow (Keras) でのOptimizerの指定例
import tensorflow as tf
# モデルを定義 (省略)
model = tf.keras.models.Sequential([...])
# 最適化アルゴリズムにAdamを指定
# 他にも tf.keras.optimizers.SGD() や tf.keras.optimizers.RMSprop() などが使える
optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)
model.compile(optimizer=optimizer,
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
まとめ：どの最適化手法を選ぶべきか
勾配降下法はディープラーニングの学習における基本ですが、局所最適解や鞍点、学習率の調整といった課題を抱えています。これらの問題を解決するために、Momentum、AdaGrad、RMSprop、そしてAdamといった様々な改善手法が開発されてきました。
現在では、多くの場合でAdamが第一の選択肢とされています。 その安定性と高速性から、特別な理由がない限りはまずAdamを試してみるのが良いアプローチです。ただし、解くべき問題やモデルの構造によっては、他の最適化手法や、ハイパーパラメータを丁寧に調整したSGDが最も良い性能を示すこともあります。
これらの最適化アルゴリズムの特性を理解し、適切に選択・調整することが、ディープラーニングモデルの性能を最大限に引き出すための重要な鍵となります。