はじめに
ディープラーニングを学び始めると、必ずと言っていいほど「正規化（Normalization）」という言葉に出会います。しかし、この正規化には複数の意味があり、初心者にとっては混乱の原因になりがちです。
この記事では、ディープラーニングにおける正規化について、主に2つの側面に分けて、初心者にも理解できるように丁寧に解説していきます。
1. データの正規化（入力データの調整）
一つ目の正規化は、モデルにデータを入れる前に行う「前処理」としての正規化です。これは特徴量スケーリングとも呼ばれます。
なぜデータの正規化が必要なのか？
ディープラーニングモデルに入力するデータは、身長（cm）、体重（kg）、年齢（歳）など、様々な特徴量で構成されています。これらの特徴量は、それぞれ単位や数値の範囲（スケール）が大きく異なります。 例えば、身長が「150～190」の範囲にあるのに対し、年齢は「20～60」といった範囲かもしれません。
このようにスケールがバラバラなデータをそのままモデルに入力すると、数値の大きい特徴量の影響を過剰に受けてしまい、学習が不安定になったり、収束が遅くなったりする問題が発生します。 そこで、各特徴量のスケールを一定の範囲に揃える「正規化」を行うことで、モデルが効率的に学習できるようになります。
代表的な手法
- Min-Max正規化 (Normalization)
データの最小値を0、最大値を1とするように、すべての値を0から1の範囲に変換する手法です。 画像のピクセル値（0～255）を0～1の範囲に変換する際などによく使われます。# Min-Max Normalization の計算式 x_normalized = (x - x_min) / (x_max - x_min) - 標準化 (Standardization)
データの平均を0、標準偏差（分散）を1になるように変換する手法です。 外れ値（極端に大きい、または小さい値）が含まれるデータの場合、Min-Max正規化よりも影響を受けにくいという特徴があります。# Standardization の計算式 x_standardized = (x - mean) / std_dev
どちらの手法を使うかは、データの分布やモデルの特性によって決まりますが、一般的にはまず標準化を試すことが多いです。
2. ニューラルネットワーク内の正規化（層の正規化）
二つ目の正規化は、ディープラーニングモデルの内部、つまり各層（レイヤー）で行われる正規化です。これは学習プロセスそのものを安定させ、高速化するために導入されます。
なぜ層の正規化が必要なのか？
ディープラーニングは、多数の層を積み重ねた構造をしています。学習が進むにつれて、前の層のパラメータが更新され、それによって後続の層への入力データの分布が変化してしまう現象が起こります。これを「内部共変量シフト（Internal Covariate Shift）」と呼びます。
内部共変量シフトが起こると、各層は常に変化する入力データに対応しなければならなくなり、学習が不安定になります。層の正規化は、この問題を軽減し、各層への入力を安定させることで、学習をスムーズに進める役割を果たします。 これにより、勾配消失や勾配爆発といった問題も抑制され、学習が高速化します。
代表的な手法
層の正規化には様々な手法が提案されていますが、ここでは特に有名なものを紹介します。
| 正規化手法 | 概要 | 主な特徴・適した場面 |
|---|---|---|
| バッチ正規化 (Batch Normalization) | ミニバッチ（データを分割した小さな塊）単位で、特徴量ごとに平均が0、分散が1になるように正規化します。 |
|
| レイヤー正規化 (Layer Normalization) | バッチ内の各サンプル（データ1つ）ごとに、全てのニューロンにわたって正規化を行います。 |
|
| インスタンス正規化 (Instance Normalization) | 各サンプル、各チャネル（例：画像のR,G,B）ごとに独立して正規化を行います。 |
|
| グループ正規化 (Group Normalization) | チャネルをいくつかのグループに分割し、グループ内で正規化を行います。バッチ正規化とレイヤー正規化の中間的な手法です。 |
|
まとめ
ディープラーニングにおける「正規化」は、文脈によって異なるものを指します。
- データの前処理としての正規化： モデルに入力する特徴量のスケールを揃え、学習の土台を整える。
- 層の正規化： モデル内部のデータの分布を安定させ、学習プロセス自体を高速・安定化させる。
どちらの正規化も、ディープラーニングモデルの性能を最大限に引き出すために欠かせない重要な技術です。最初は少し複雑に感じるかもしれませんが、それぞれの役割と違いを理解することで、モデルの構築やチューニングをより効果的に行えるようになります。