はじめに：Leaky ReLUとは？
Leaky ReLU（リーキー・レルー）は、ディープラーニングで利用される「活性化関数」の一つです。活性化関数とは、ニューラルネットワークにおいて、ニューロン（神経細胞のようなもの）が受け取った信号をどのように処理し、次のニューロンへ伝えるかを決定する重要な関数です。
Leaky ReLUは、特に広く使われているReLU（Rectified Linear Unit）という活性化関数の課題を解決するために考案された、改良版の関数です。
Leaky ReLUを理解する前に：ReLUとその課題
Leaky ReLUを理解するには、まずベースとなるReLU関数について知る必要があります。ReLUは非常にシンプルな構造で、多くのディープラーニングモデルで標準的に採用されています。
ReLUの仕組み
ReLUのルールはとても簡単です。
- 入力された値が0より大きい場合 → その値をそのまま出力する
- 入力された値が0以下の場合 → 0を出力する
数式で表すと以下のようになります。
f(x) = max(0, x)
ReLUの課題：「Dying ReLU」問題
ReLUは計算が速く、性能も良いことから広く使われていますが、一つ大きな課題を抱えています。それは「Dying ReLU（死んだReLU）」問題です。
学習の過程で、あるニューロンへの入力が常に0以下になってしまうことがあります。 すると、そのニューロンの出力は常に0となり、それ以降、入力がどう変わろうとも全く反応しなくなってしまいます。 これは、グラフの傾き（勾配）が0になることを意味し、ネットワークがそれ以上学習を進めることができなくなる「勾配消失」という状態を引き起こします。 このようにニューロンが働かなくなってしまう現象が「Dying ReLU」問題です。
Leaky ReLU関数の登場
この「Dying ReLU」問題を解決するために、2013年にAndrew L. Maasらによって提案されたのがLeaky ReLUです。
Leaky ReLUの仕組み
Leaky ReLUは、ReLUの課題であった「入力が0以下の場合」の振る舞いを少しだけ変更したものです。
- 入力された値が0より大きい場合 → その値をそのまま出力する（ReLUと同じ）
- 入力された値が0以下の場合 → 入力値に0.01などの小さな正の数（α）を掛けた値を出力する
「Leaky」とは「漏れがある」という意味で、入力がマイナスでも完全に0にせず、わずかに値を「漏らす」ように出力するのが特徴です。 これにより、ニューロンが完全に活動を停止するのを防ぎます。
数式で表すと以下のようになります。ここで、α（アルファ）は通常0.01などの小さな値に設定される定数です。
f(x) = max(αx, x)
メリットとデメリット
Leaky ReLUには以下のようなメリットとデメリットがあります。
| 項目 | 説明 |
|---|---|
| メリット |
|
| デメリット |
|
Pythonでの実装例
TensorFlowやPyTorchといった主要なディープラーニングフレームワークでは、Leaky ReLUは簡単に利用できます。
TensorFlow (Keras) の場合
import tensorflow as tf
# alphaの値を指定してLeaky ReLUレイヤーを作成（デフォルトは0.3）
leaky_relu_layer = tf.keras.layers.LeakyReLU(alpha=0.01)
# 適当なテンソル（多次元配列）を準備
input_tensor = tf.constant([-2.0, -0.5, 0.0, 1.0, 2.0])
# Leaky ReLUを適用
output_tensor = leaky_relu_layer(input_tensor)
print("Input:", input_tensor.numpy())
print("Output:", output_tensor.numpy())
# 出力結果:
# Input: [-2. -0.5 0. 1. 2. ]
# Output: [-0.02 -0.005 0. 1. 2. ] PyTorch の場合
import torch
import torch.nn as nn
# negative_slope (alpha) を指定してLeaky ReLUモジュールを作成（デフォルトは0.01）
leaky_relu_module = nn.LeakyReLU(negative_slope=0.01)
# 適当なテンソルを準備
input_tensor = torch.tensor([-2.0, -0.5, 0.0, 1.0, 2.0])
# Leaky ReLUを適用
output_tensor = leaky_relu_module(input_tensor)
print("Input:", input_tensor)
print("Output:", output_tensor)
# 出力結果:
# Input: tensor([-2.0000, -0.5000, 0.0000, 1.0000, 2.0000])
# Output: tensor([-0.0200, -0.0050, 0.0000, 1.0000, 2.0000]) まとめ
Leaky ReLUは、ディープラーニングで広く使われるReLU関数の「Dying ReLU」という問題を解決するために考案された活性化関数です。入力が負の値でも完全に0にせず、わずかな値を出力することで、学習の停滞を防ぎます。
計算コストが低く、多くの場面で安定した学習に貢献しますが、常にReLUより優れているわけではありません。モデルの性能を改善したいときの一つの選択肢として、Leaky ReLUやその派生であるPReLU、ELUなどを試してみると良いでしょう。