近年、AI技術の中心となっている「ディープラーニング」。その学習プロセスを理解する上で、しばしば登場するのが「局所最適解（きょくしょさいてきかい）」という言葉です。
この言葉は、モデルの性能を最大限に引き出す上で重要な概念となります。
この記事では、ディープラーニングにおける局所最適解とは何か、なぜそれが問題となるのか、そしてどのように対処するのかを、初心者の方にも理解できるように解説していきます。
そもそも「最適化」と「解」とは？
局所最適解を理解するために、まずは「最適化」という考え方から始めましょう。 ディープラーニングにおける「学習」とは、簡単に言えば「モデルの性能を最も良くするためのパラメータを探す旅」です。この旅のプロセスを「最適化」と呼びます。
性能の良し悪しは、「損失関数」という指標で測られます。この関数の値が小さいほど、モデルの予測が正解に近いことを意味します。つまり、学習のゴールは「損失関数の値を最小にするパラメータを見つけ出すこと」です。 そして、そのとき見つかったパラメータの組み合わせが「解」です。
この「解」には、大きく分けて2つの種類があります。それが「局所最適解」と「大域的最適解」です。
「局所最適解」と「大域的最適解」
この2つの「解」の違いを、谷を下っていくハイキングに例えてみましょう。ゴールは、最も低い地点（標高が最小の場所）にたどり着くことです。
- 大域的最適解 (Global Optimum): 全ての範囲の中で、最も良い解。ハイキングの例で言えば、「最も低い谷底」です。これが私たちの最終的な目標地点です。
- 局所最適解 (Local Optimum): ある一部分の範囲の中では最も良い解ですが、全体で見るとそうではない解。例えるなら、「途中にあった小さなくぼみや、別の小さな谷」です。その場所では一時的に最も低いですが、もっと先にはさらに低い場所（本当の谷底）が存在します。
| 項目 | 大域的最適解 | 局所最適解 |
|---|---|---|
| 定義 | 探索する全範囲において、最も損失関数の値が小さい解。 | ある特定の範囲内に限定すると損失関数の値が最も小さいが、全体では最小ではない解。 |
| 例え | 最も標高が低い、真の谷底。 | 途中の小さなくぼみや、浅い谷。 |
| 学習への影響 | モデルが達成しうる最高の性能。 | 「これ以上良くならない」と学習が停止してしまうが、実はまだ改善の余地がある状態。モデルの性能が頭打ちになる原因。 |
ディープラーニングの一般的な学習手法である「勾配降下法」は、今いる場所から見て最も傾きが急な方向（最も低くなっている方向）へ少しずつ進んでいく方法です。この方法だと、一度小さなくぼみ（局所最適解）にはまってしまうと、そこから抜け出せなくなり、学習がそこでストップしてしまうという問題がありました。
ディープラーニングにおける「もう一つのワナ」：鞍点（あんてん）
かつて、局所最適解はディープラーニングの学習を妨げる大きな要因と考えられていました。しかし、近年の研究により、非常にパラメータ数が多い（高次元な）ディープラーニングのモデルにおいては、悪い局所最適解は実はそれほど多くないことがわかってきました。
その代わりに、学習の停滞を引き起こす真犯人として注目されているのが「鞍点（あんてん、Saddle Point）」です。
鞍点とは、馬の鞍（くら）のように、ある方向から見ると谷底（極小）に見えるのに、別の方向から見ると山の頂上（極大）に見える場所のことです。このような場所では、勾配（傾き）がほぼゼロになってしまいます。
勾配降下法は勾配を頼りに進むため、勾配がゼロに近い鞍点に到達すると、まるで平坦な土地で道に迷ったかのように、どちらに進めばよいか分からなくなり、学習が非常に遅くなったり、止まってしまったりするのです。
どうやって局所最適解や鞍点を乗り越えるのか？
では、学習を途中で止めないために、これらの問題をどのように乗り越えるのでしょうか。現在では、様々な工夫を凝らした最適化アルゴリズムが開発されており、実用上はこれらの問題の多くが解決されています。
最適化アルゴリズムの工夫
単純な勾配降下法を改良した、より賢いアルゴリズムが使われています。
- Momentum (慣性):
まるで坂道を転がるボールのように、「慣性」の考え方を取り入れた手法です。ボールが勢いよく転がっていれば、多少の小さなくぼみ（局所最適解）や平坦な場所（鞍点）は勢いで乗り越えられます。過去に進んできた方向を次の更新にも加味することで、停滞を防ぎます。 - Adam (Adaptive Moment Estimation):
現在、ディープラーニングで最も広く使われている最適化アルゴリズムの一つです。Momentumの考え方に加え、パラメータごとに学習の進み具合（学習率）を自動で調整する賢い機能を備えています。これにより、効率的に鞍点や局所最適解を回避し、高速に学習を進めることができます。
その他の工夫
- 初期値のランダム化:
学習をスタートするパラメータの初期値をランダムに設定します。これにより、毎回違うルートで谷底を目指すことになり、特定の局所最適解にはまりにくくなります。 - バッチ正規化:
学習を安定させるための手法で、損失関数の形状を滑らかにする効果があります。これにより、勾配が急すぎたり緩やかすぎたりする場所が減り、鞍点などのワナにはまりにくくなります。
まとめ
今回は、ディープラーニングにおける「局所最適解」について解説しました。
- 局所最適解は、ある範囲では最適に見えるが、全体で見ると最善ではない解のこと。
- ディープラーニングの学習では、局所最適解よりも鞍点（Saddle Point）が学習停滞の主な原因と見なされることが多い。
- Adamなどの優れた最適化アルゴリズムの登場により、これらの問題は実用上、かなりのレベルで克服されている。
局所最適解や鞍点は、ディープラーニングの理論的な側面を理解する上で重要な概念ですが、現代のフレームワークでは優秀な対策がすでに組み込まれているため、過度に心配する必要はありません。まずは、なぜこのような問題が存在し、どのような対策があるのかを大まかに知っておくだけでも、モデルの学習がうまくいかない時のヒントになるはずです。