ディープラーニングの「標準化」とは？データと層の2つの意味を分かりやすく解説

このブログでは、初心者の方でも理解できるように、これら2つの「標準化」について、それぞれの意味と役割を解説していきます。

1. データの前処理としての「標準化」

ディープラーニングモデルを学習させる前には、入力するデータ（特徴量）を整える「前処理」という工程が欠かせません。その代表的な手法が「標準化（Standardization）」です。

なぜデータの前処理が必要なのか？

例えば、「年齢」と「年収」という2つの特徴量を使って何かを予測するモデルを考えてみましょう。「年齢」は通常20〜80程度の範囲ですが、「年収」は数百万円から数千万円という大きな範囲の値を取ります。このように特徴量ごとのスケール（単位や範囲）が大きく異なると、モデルは値が大きい「年収」の方をより重要な特徴だと誤って解釈してしまい、学習がうまく進まないことがあります。

このような問題を防ぎ、各特徴量が平等に扱われるようにするために、スケールを揃える前処理が必要になります。特にディープラーニングでは、勾配を用いて学習を行うため、特徴量のスケールが異なると学習が不安定になったり、収束が遅くなったりする原因となります。

標準化（Standardization）とは

正規化（Normalization）との違い

標準化とよく似た言葉に「正規化（Normalization）」があります。これらは混同されやすいですが、異なる処理です。正規化は、データの値を0から1（または-1から1）の範囲に収まるように変換する手法です。

一般的に、外れ値（他の値から極端に離れた値）があるデータセットの場合、正規化を行うと多くのデータが狭い範囲に押し込められてしまうため、外れ値の影響を受けにくい標準化の方がよく使われる傾向にあります。

Pythonのライブラリscikit-learnを使うと、簡単に標準化を実装できます。

import numpy as np
from sklearn.preprocessing import StandardScaler
# サンプルデータ（身長、体重、年齢など）
data = np.array([, , ])
# 標準化のインスタンスを作成
scaler = StandardScaler()
# 標準化を実行
standardized_data = scaler.fit_transform(data)
print("--- 元のデータ ---")
print(data)
print("\n--- 標準化後のデータ ---")
print(standardized_data)
print(f"\n平均: {standardized_data.mean(axis=0)}")
print(f"標準偏差: {standardized_data.std(axis=0)}") 

2. モデルの層における「標準化（正規化層）」

もう一つの「標準化」は、ディープラーニングモデルの内部、つまり層（レイヤー）の間で行われる処理です。こちらは一般的に「正規化層」と呼ばれ、代表的な手法にバッチ正規化 (Batch Normalization) などがあります。

なぜ層の標準化が必要なのか？

ディープラーニングは、多くの層を積み重ねたネットワークです。学習が進むにつれて、各層のパラメータ（重み）が更新されていきます。すると、ある層の出力データの分布が、学習の過程でどんどん変化してしまう現象が起こります。これを「内部共変量シフト (Internal Covariate Shift)」と呼びます。

各層は、前の層からの出力を入力として受け取ります。その入力データの分布が学習のたびに大きく変わってしまうと、層は毎回新しい分布に適応し直さなければならず、学習が不安定になったり、非常に遅くなったりします。 この問題を解決するために、層ごとに入力データを標準化（正規化）する「正規化層」が考案されました。

代表的な正規化層の手法

正規化層にはいくつか種類がありますが、ここでは特に有名な2つの手法を紹介します。

※その他にも、インスタンス正規化（Instance Normalization）やグループ正規化（Group Normalization）といった手法も存在します。

まとめ