AdaGradとは？
AdaGrad（エイダグラッド）は、正式名称をAdaptive Gradient Algorithmといい、機械学習、特にディープラーニングで用いられる「最適化アルゴリズム」の一つです。2011年にJohn Duchiらの論文で発表されました。 モデルを学習させる際には、予測結果と正解の誤差（損失）を最小化するように、モデルのパラメータ（重み）を調整していく必要があります。この調整作業を「最適化」と呼びます。
AdaGradは、この最適化を効率的に行うための手法であり、各パラメータの更新量を、これまでの学習の進み具合に応じて自動で調整するという大きな特徴を持っています。
AdaGradの仕組み
AdaGradの核心的なアイデアは、「これまでにたくさん更新されたパラメータは、学習率を小さくし、あまり更新されてこなかったパラメータは、学習率を大きくする」というものです。
これを実現するために、AdaGradは過去の全ての勾配（パラメータをどちらの方向にどれだけ動かせば誤差が減るかを示す指標）の二乗を、パラメータごとに記録し続けます。そして、パラメータを更新する際、全体の学習率を「過去の勾配の二乗和の平方根」で割ることで、学習率を調整します。
数式で表すと以下のようになります。
パラメータの更新式:
h ← h + g * g
W ← W - η * (1 / √h) * g
W: 更新するパラメータη: 全体に適用される基本の学習率（ハイパーパラメータ）g: そのパラメータに関する現在の勾配h: そのパラメータの過去の勾配の二乗をすべて足し合わせた値
この式により、学習が進んで勾配の蓄積値 h が大きくなるほど、実質的な学習率は小さくなっていきます。逆に、あまり更新されてこなかった（勾配が小さかった）パラメータは h が小さいため、学習率が大きめに保たれます。
AdaGradの長所と短所
AdaGradには、そのユニークな仕組みからくる長所と短所があります。
| 長所（メリット） | 短所（デメリット） |
|---|---|
|
学習率の調整が不要 パラメータごとに学習率を自動で調整してくれるため、開発者が手動で細かく学習率を設定する手間が省けます。 |
学習が早期に停滞する可能性 学習が進むと、勾配の二乗和（ h）がどんどん大きくなる一方なので、学習率が極端に小さくなってしまいます。その結果、モデルが十分に学習しきる前に、パラメータの更新がほぼ止まってしまうことがあります。
|
|
スパースなデータに強い 自然言語処理などで見られる、ほとんどの値が0であるような「スパースなデータ」に対して非常に効果的です。出現頻度の低い特徴（単語など）に対応するパラメータは更新される機会が少ないため、学習率が下がりにくく、しっかりと学習を進めることができます。 |
過去の勾配をすべて記憶する 過去のすべての勾配を平等に扱うため、学習の初期段階でたまたま大きな勾配が発生すると、その影響で学習率が急激に小さくなり、その後の学習に悪影響を及ぼすことがあります。 |
他の最適化手法との比較
AdaGradの登場は、その後の多くの「適応的学習率アルゴリズム」に影響を与えました。
| アルゴリズム | 概要 | AdaGradとの関係 |
|---|---|---|
| SGD (確率的勾配降下法) | 最も基本的な最適化手法。すべてのパラメータで同じ学習率を使う。 | AdaGradは、SGDの「学習率が一定」という点をパラメータごとに適応的に変えることで改善しました。 |
| RMSprop | 過去の勾配の情報をすべて均等に保持するのではなく、直近の勾配の情報をより重視するように改良された手法。 | AdaGradの「学習が進むと学習率がゼロに近づきすぎる」という問題を、勾配の二乗和を指数移動平均に置き換えることで解決しようとしました。これにより、古い勾配の影響が時間とともに薄れていきます。 |
| Adam | RMSpropの考え方に加え、勾配の方向に関する情報（モーメンタム）も取り入れた、現在最も広く使われている手法の一つ。 | AdaGradの適応的学習率のアイデアと、モーメンタムという別の最適化の考え方を融合させた、いわば「良いとこ取り」の手法です。 |
Pythonでの実装例
主要なディープラーニングのフレームワークであるTensorFlow (Keras) やPyTorchでは、簡単にAdaGradを利用できます。
TensorFlow (Keras) の場合
import tensorflow as tf
# オプティマイザとしてAdaGradを選択
optimizer = tf.keras.optimizers.Adagrad(learning_rate=0.001)
# モデルのコンパイル時に指定
# model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy', metrics=['accuracy'])
PyTorch の場合
import torch.optim as optim
# パラメータを渡してAdaGradのインスタンスを作成
# optimizer = optim.Adagrad(model.parameters(), lr=0.01)
このように、ライブラリが提供するクラスを呼び出すだけで簡単にAdaGradを試すことができます。
まとめ
AdaGradは、各パラメータに応じて学習率を自動で調整するという画期的なアイデアを導入した最適化アルゴリズムです。
- 特徴: パラメータごとに学習の進捗に合わせて学習率を調整する。
- 長所: 学習率の手動調整の手間を減らし、スパースなデータに強い。
- 短所: 学習が進むと更新が止まってしまうことがある。
現在では、AdaGradの欠点を改良したRMSpropやAdamといった手法が主流となっています。しかし、AdaGradはこれらのアルゴリズムの基礎となっており、その考え方を理解することはディープラーニングの最適化を深く知る上で非常に重要です。