Transformerを支える縁の下の力持ち
近年、ChatGPTなどの大規模言語モデル（LLM）の発展が目覚ましいですが、その根幹技術である「Transformer」を支える重要な要素の一つにレイヤー正規化 (Layer Normalization) があります。
レイヤー正規化は、ディープラーニングモデルの学習を安定させ、高速化するための技術です。この記事では、レイヤー正規化とは何か、なぜ必要なのか、そして代表的な正規化手法である「バッチ正規化」との違いなどを、初心者にも分かりやすく解説します。
レイヤー正規化とは？
レイヤー正規化とは、一言で言うと「ニューラルネットワークの各層（レイヤー）への入力を、データサンプルごとに正規化する」技術です。 2016年にトロント大学のジェフリー・ヒントンらの研究者によって提案されました。
ディープラーニングモデルは、何層にもわたるネットワークで構成されています。学習が進むにつれて、前の層のパラメータが更新されると、後続の層への入力データの分布が変化してしまうことがあります。この現象は「内部共変量シフト (Internal Covariate Shift)」と呼ばれ、学習が不安定になったり、収束が遅くなったりする原因となります。
レイヤー正規化は、この問題を解決するために、各データサンプル（例えば、文章翻訳における1つの文章）に対して、そのサンプル内の特徴量全体の平均が0、分散が1になるように調整します。 これにより、各層への入力分布が安定し、モデルはより効率的に学習を進めることができるようになります。
バッチ正規化との違い
正規化の手法として、レイヤー正規化としばしば比較されるのが「バッチ正規化 (Batch Normalization)」です。どちらも学習を安定させる目的は同じですが、正規化を行う「範囲」に決定的な違いがあります。
- バッチ正規化 (Batch Normalization): ミニバッチ（学習のためにまとめて処理される複数のデータ）内の同じ特徴量（例えば、画像データにおける同じ位置のピクセル値）に対して正規化を行います。 つまり、正規化は「バッチ方向」に行われます。
- レイヤー正規化 (Layer Normalization): ミニバッチ内の各データサンプルごとに、そのサンプルが持つ全ての特徴量に対して正規化を行います。 つまり、正規化は「特徴量方向」に行われます。
この違いにより、それぞれの得意な分野が異なります。
| 特徴 | バッチ正規化 (Batch Normalization) | レイヤー正規化 (Layer Normalization) |
|---|---|---|
| 正規化の単位 | ミニバッチ内の同じ特徴量ごと | データサンプル内の全特徴量ごと |
| バッチサイズへの依存 | 依存する。小さいバッチサイズでは性能が不安定になりやすい。 | 依存しない。バッチサイズが1でも動作可能。 |
| 得意なモデル | CNN (畳み込みニューラルネットワーク)など、バッチサイズを大きくしやすいモデル | RNN、Transformerなど、系列データ（可変長データ）を扱うモデル |
| 学習時と推論時の挙動 | 異なる（推論時は学習時に計算した統計量の移動平均を使う）。 | 同じ（その都度、入力サンプルの統計量を計算する）。 |
特に自然言語処理で使われるTransformerでは、文の長さがデータごとに異なるため、バッチサイズを揃えにくいという課題があります。レイヤー正規化はバッチサイズに依存しないため、このような系列データを扱うモデルと非常に相性が良く、広く採用されています。
Transformerにおけるレイヤー正規化の役割
Transformerモデルでは、レイヤー正規化は主に2つの場所で重要な役割を果たしています。
- Multi-Head Attentionの後
- Feed-Forward Networkの後
Transformerでは、これらのサブ層の後で「Add & Norm」という処理が行われます。これは、入力とサブ層の出力を足し合わせる残差接続（Residual Connection）と、その後のレイヤー正規化をセットにしたものです。
この構造により、深い層を重ねても勾配が消失・爆発しにくくなり、学習が安定します。 GPTやBERTといった現代の主要な言語モデルは、この仕組みの恩恵を大きく受けています。
ちなみに、レイヤー正規化を残差接続の前に行うか後に行うかで「Pre-LN」と「Post-LN」というバリエーションがあり、どちらも性能向上のために研究されています。
PyTorchでの簡単な実装例
実際のコードでは、PyTorchなどの深層学習フレームワークを使えば、レイヤー正規化は非常に簡単に実装できます。
import torch
import torch.nn as nn
# (バッチサイズ, 系列長, 特徴量数) の入力テンソルを想定
# バッチサイズ=2, 系列長=3, 特徴量数=4
inputs = torch.randn(2, 3, 4)
# レイヤー正規化を適用する特徴量の形状を指定
# ここでは最後の次元（特徴量数=4）に対して正規化を行う
normalized_shape = inputs.size()[-1] # この場合は 4
layer_norm = nn.LayerNorm(normalized_shape)
# レイヤー正規化を適用
outputs = layer_norm(inputs)
print("--- 入力テンソル ---")
print(inputs)
print("Shape:", inputs.shape)
print("\n--- 出力テンソル（正規化後） ---")
print(outputs)
print("Shape:", outputs.shape)
# 各サンプルの最後の次元（特徴量次元）で平均と分散を計算してみる
# 出力テンソルの平均がほぼ0、分散がほぼ1になっていることがわかる
print("\n--- 出力の統計量 ---")
print("Mean:", outputs.mean(dim=-1))
print("Var:", outputs.var(dim=-1, unbiased=False)) `torch.nn.LayerNorm` の引数 `normalized_shape` に、正規化したい次元の形状を指定するだけで利用できます。 上記の例では、各サンプル・各トークンごと（2×3=6個）に、4つの特徴量の間で正規化が行われています。
まとめ
レイヤー正規化は、ディープラーニング、特にTransformerベースのモデルにおいて、学習の安定化と高速化を実現するために不可欠な技術です。
- データサンプルごとに特徴量を正規化する。
- バッチサイズに依存しないため、RNNやTransformerなどの系列データモデルに適している。
- 内部共変量シフトを抑制し、学習を安定させる。
- Transformerでは、AttentionやFFNの後に適用され、モデルの性能を支えている。
この「縁の下の力持ち」の役割を理解することで、なぜ現代のAIモデルがこれほど高い性能を発揮できるのか、その一端を垣間見ることができるでしょう。