はじめに
ディープラーニングを学び始めると、必ずと言っていいほど耳にする「勾配消失問題」。これは、ニューラルネットワークの学習がうまく進まなくなる深刻な問題です。この問題があったため、かつては深い層を持つニューラルネットワーク（ディープラーニング）の学習は非常に困難でした。
この記事では、ディープラーニング初心者の方でも理解できるように、勾配消失問題とは何か、なぜ起こるのか、そして現在どのような対策が取られているのかを、順を追って分かりやすく解説していきます。
前提知識：ニューラルネットワークはどうやって学習するの？
勾配消失問題を理解するために、まずはニューラルネットワークがどのように学習するのかを簡単に見ていきましょう。
ニューラルネットワークは、「誤差逆伝播法（バックプロパゲーション）」という手法を使って学習します。 これは、以下のステップで行われます。
- 順伝播 (Forward Propagation): 入力データから予測値を計算します。
- 誤差の計算: 予測値と正解の値がどれだけ違うか（誤差）を計算します。
- 逆伝播 (Backward Propagation): 計算した誤差を、出力層から入力層に向かって逆方向に伝え、各層の「重み」や「バイアス」をどれだけ調整すれば誤差が小さくなるかを計算します。
- 重みの更新: 計算結果に基づき、各層の重みを少しずつ更新します。
この3番目のステップで重要な役割を果たすのが「勾配」です。 勾配とは、簡単に言えば「誤差という坂の傾き」のようなものです。この傾きが大きいほど、重みを大きく更新する必要があることを意味し、傾きの向きが重みを更新する方向を示します。ニューラルネットワークは、この勾配を頼りに、誤差が最も小さくなる地点（最適解）を探していくのです（この手法を勾配降下法と呼びます）。
勾配消失問題とは？
勾配消失問題とは、その名の通り、誤差逆伝播の過程で「勾配がほとんど0に近くなってしまう」現象のことです。
勾配が0に近づくと、重みの更新量が極めて小さくなるため、特にネットワークの入力層に近い層では重みがほとんど更新されなくなります。 その結果、どれだけ学習を繰り返してもモデルの精度が向上せず、学習が停滞してしまうのです。 この問題は、ネットワークの層が深くなればなるほど顕著になります。
なぜ勾配消失は起こるのか？
勾配消失問題が起こる主な原因は2つあります。
1. 活性化関数
ひと昔前のニューラルネットワークでよく使われていた「シグモイド関数」や「ハイパボリックタンジェント（tanh）関数」が、大きな原因の一つです。
誤差逆伝播法では、層を遡るごとに、その層の活性化関数の微分（傾き）を掛け合わせていきます。 シグモイド関数の場合、その微分値の最大値は0.25です。 つまり、層を一つ通過するたびに、勾配は最大でも0.25倍に小さくなってしまいます。
これが深いネットワークで何度も繰り返されると、勾配は指数関数的に小さくなり、入力層に届く頃にはほぼ0になってしまうのです。
| 活性化関数 | 特徴 | 勾配消失との関係 |
|---|---|---|
| シグモイド関数 | 出力を0から1の間に押し込めるS字カーブの関数。 | 微分値の最大が0.25のため、層を重ねると勾配が消失しやすい。 |
| ReLU関数 (後述) | 入力が0以下なら0、0より大きければそのまま出力する関数。 | 正の入力に対して微分値が常に1なので、勾配消失が起きにくい。 |
2. ネットワークの深さ
原因1とも関連しますが、ディープラーニングの「Deep（深い）」という性質そのものが原因となります。 層が深ければ深いほど、誤差逆伝播で勾配を掛け合わせる回数が増えます。活性化関数によって1未満の値が何度も掛け合わされることで、勾配が消失するリスクは必然的に高まります。
勾配消失問題への対策
勾配消失は長年の課題でしたが、現在では様々な優れた対策が考案されています。
1. 活性化関数の変更 (ReLU)
最もシンプルで効果的な対策の一つが、活性化関数をシグモイド関数から「ReLU (Rectified Linear Unit)」に変更することです。
ReLUは、入力が0より大きい場合はその値をそのまま出力し、0以下の場合は0を出力するという非常にシンプルな関数です。 この関数の優れた点は、入力が正の領域では微分値が常に「1」であることです。 これにより、層を遡っても勾配が小さくなることを防ぎ、学習が効率的に進むようになります。
# ReLU関数の簡単な実装例
def relu(x): return max(0, x) 2. 重みの初期値の工夫
学習を始める前の重みの初期値も、勾配の大きさに影響を与えます。 不適切な初期値は勾配消失や後述する勾配爆発を引き起こす原因となります。現在では「Xavierの初期値」（2010年提案）や、ReLUと合わせてよく使われる「Heの初期値」（2015年提案）など、活性化関数に応じて勾配が安定しやすいように工夫された初期化手法が考案されています。
3. バッチ正規化 (Batch Normalization)
2015年に提案された手法で、各層の入力をミニバッチ単位で平均0、分散1になるように正規化します。 これにより、各層の入力データの分布が安定し、学習プロセス全体がスムーズになります。 結果として、勾配消失問題が起こりにくくなるという効果があります。
4. 残差接続 (Residual Connections)
ResNet (Residual Network) というモデルで導入された画期的なアーキテクチャです。 これは、層への入力情報の一部を、その層を飛び越して（スキップして）出力に直接足し合わせる「ショートカット接続」を持つ構造です。
このショートカットがあるおかげで、勾配が層をバイパスして直接下流に伝わることができます。 これにより、たとえネットワークが100層、1000層と非常に深くなっても、勾配が消失することなく学習を進めることが可能になりました。
補足：勾配爆発問題
勾配消失問題と対になる問題として、「勾配爆発問題」も存在します。 これは、勾配が消失するのとは逆に、層を遡るごとに勾配が指数関数的に大きくなり、発散してしまう現象です。
勾配が極端に大きくなると、重みの更新が大きくなりすぎて学習が不安定になり、正しい値に収束しなくなります。 対策としては、勾配がある閾値を超えた場合にその値を強制的に小さくする「勾配クリッピング」という手法などが有効です。
まとめ
勾配消失問題は、ディープラーニングが発展する上で大きな障害となっていました。 しかし、ReLU関数をはじめとする新しい活性化関数の登場や、バッチ正規化、ResNetといった様々な技術的ブレークスルーによって、この問題は大きく改善されました。
これらの技術の理解は、ディープラーニングのモデルを深く理解し、自身で構築・改善していく上で非常に重要です。本記事が、その一助となれば幸いです。