ディープラーニングのモデルを学習させる際、「最適化アルゴリズム」の選択は、学習の速度や最終的なモデルの性能を大きく左右する重要な要素です。数ある最適化アルゴリズムの中でも、この記事では2019年に提案された「AdaBound（アダバウンド）」について、初心者の方にも分かりやすく解説します。
AdaBoundは、広く使われているAdamの「学習が速い」という長所と、SGD (確率的勾配降下法) の「汎化性能が高い（未知のデータに対する性能が良い）」という長所を両立させることを目指して開発されました。
AdaBoundが登場した背景：AdamとSGDの課題
AdaBoundを理解するために、まずは代表的な2つの最適化アルゴリズム、AdamとSGDの特徴と課題を見てみましょう。
Adam (Adaptive Moment Estimation)
学習の初期段階で非常に速く収束する傾向があります。 ハイパーパラメータの調整が比較的簡単で、多くのケースで良好な結果が得られます。
短所:
学習が速い一方で、最適な解に収束しなかったり、SGDで得られるモデルに比べて汎化性能が劣ることがあると指摘されています。
SGD (Stochastic Gradient Descent)
時間をかけて学習させることで、Adamよりも汎化性能の高い、優れたモデルが得られることが多いとされています。 シンプルなアルゴリズムです。
短所:
学習の収束がAdamに比べて遅いことがあります。 学習率などのハイパーパラメータの調整が難しく、設定によっては学習がうまく進まない場合があります。
AdaBoundの仕組み：動的な学習率の境界
AdaBoundの最大の特徴は、その名の通り「学習率に動的な境界（Bound）を設ける」点にあります。 これにより、学習のフェーズに応じて振る舞いを変化させます。
- 学習の初期段階: 学習率の境界を広く設定します。これにより、Adamのようにパラメータを大胆に更新し、高速に学習を進めることができます。
- 学習の終盤段階: 学習が進むにつれて、学習率の境界を徐々に狭めていきます。最終的には、あらかじめ設定した固定値（final_lr）に収束します。 これにより、学習率の動きが制限され、SGDのように安定した収束が促され、汎化性能の向上が期待できます。
この仕組みによって、AdaBoundは学習の初期にはAdamのように振る舞い、学習の終盤に近づくにつれて滑らかにSGDのような振る舞いへと移行していくのです。
最適化アルゴリズムの比較
AdaBound、Adam、SGD（Momentum付き）の特徴をまとめると以下のようになります。
項目 | Adam | SGD (Momentum) | AdaBound |
|---|---|---|---|
| 学習速度 | 速い | 遅い傾向 | 初期は速く、終盤は安定的 |
| 汎化性能 | SGDに劣る場合がある | 高い傾向 | SGDに近い高い性能が期待される |
| 主な特徴 | パラメータ毎に学習率を適応的に調整する。 | 最も基本的な最適化手法。Momentumにより収束を高速化する。 | 学習率に動的な境界を設定し、AdamからSGDへ滑らかに移行する。 |
| ハイパーパラメータ | alpha (lr), beta1, beta2, epsilon | lr, momentum | lr, final_lr, gamma, beta1, beta2, … |
AdaBoundの実装例（PyTorch）
AdaBoundは、PyTorchやTensorFlowなどの主要なディープラーニングフレームワークに標準では搭載されていません（2024年時点）。しかし、論文の著者によって公開されている実装などを利用することで、簡単に導入できます。
以下は、PyTorchでサードパーティのライブラリを使ってAdaBoundを実装する例です。
pip install adabound を実行してライブラリをインストールしておく必要があります。 import torch
import adabound
from torchvision.models import resnet18
# モデルを定義
model = resnet18()
# AdaBoundオプティマイザを定義
# lr: Adamと同様の初期学習率
# final_lr: 学習終盤に収束させたいSGDのような学習率
optimizer = adabound.AdaBound( model.parameters(), lr=1e-3, # 初期学習率 (Adamのように振る舞う) final_lr=0.1 # 最終的な学習率 (SGDのように振る舞う)
)
# --- 以下、通常の学習ループ ---
# for data, target in train_loader:
# optimizer.zero_grad()
# output = model(data)
# loss = loss_function(output, target)
# loss.backward()
# optimizer.step() 上記のように、torch.optimの他のオプティマイザと同じような感覚で利用できます。 重要なハイパーパラメータは、初期学習率である lr と、最終的に収束させる学習率 final_lr です。
まとめ
AdaBoundは、ディープラーニングにおける最適化アルゴリズムの重要な選択肢の一つです。
- Adamの高速な収束とSGDの高い汎化性能の両立を目指した手法。
- 学習率に動的な境界を設けることで、学習の初期はAdam、終盤はSGDのように振る舞う。
- いくつかのタスクでは、AdamやSGDを上回る性能を示すことが報告されている。
- 一方で、必ずしも全ての場合で最良の結果をもたらすわけではなく、タスクやデータセットに依存します。
AdaBoundは2019年に登場して以来、多くの研究者や開発者に試されてきました。 最適化手法の世界は日進月歩ですが、AdamとSGDのギャップを埋めようとしたAdaBoundのアプローチは、ディープラーニングの学習を深く理解する上で非常に参考になる考え方と言えるでしょう。