【初心者向け】位置エンコーディングとは？Transformerを支える重要な技術を徹底解説

位置エンコーディングとは何か？

位置エンコーディングとは、文章のようなシーケンス（連続したデータ）の中にある各単語やトークンが、どの位置に存在するかという「順序」の情報を、機械学習モデルに教えるための技術です。

特に、2017年にGoogleが発表した論文「Attention Is All You Need」で提案されたTransformerモデルにおいて、不可欠な要素とされています。 Transformerは、その中核技術である「Self-Attention」機構によって、文中の単語間の関連性を効率的に計算できますが、その仕組み自体は単語の順序を考慮しません。

例えば、「猫が魚を追いかけた」と「魚が猫を追いかけた」という二つの文は、使われている単語は同じでも順序が違うため、意味が全く異なります。 Self-Attentionは、そのままではこの順序の違いを区別できません。そこで、各単語のベクトルに「この単語は何番目にあるか」という位置情報を加えることで、モデルが文の構造と意味を正しく理解できるようにするのが、位置エンコーディングの役割です。

なぜ位置エンコーディングが必要なのか？

従来の自然言語処理モデルであるRNN（再帰型ニューラルネットワーク）などは、データを一つずつ順番に処理していく仕組みだったため、自然と単語の順序情報をモデル内に取り込むことができました。

しかし、Transformerは、文中のすべての単語を同時に並列処理することで、学習速度を大幅に向上させました。 この並列処理の恩恵を受ける一方で、RNNが持っていた「単語を順番に処理することによる順序情報の保持」という利点が失われてしまいました。

つまり、Transformerは入力された単語の集合を「袋（バッグ）」のように捉えてしまい、どの単語がどの順番で現れたのかを区別できません。 この欠点を補い、モデルに単語の順序という重要なコンテキストを教えるために、位置エンコーディングが導入されました。

位置エンコーディングの仕組み

Transformerで最も広く使われているのは、三角関数（sinとcos）を利用した位置エンコーディングです。 この方法では、各位置に対して一意のベクトル（数値の並び）を生成し、それを単語の埋め込みベクトル（単語の意味を表現するベクトル）に加算します。

具体的な計算式は以下のようになります。

この数式のポイントは、ベクトルの次元ごとに異なる周波数のsin波とcos波を割り当てている点です。 これにより、各位置に固有のパターンを持つベクトルが生成され、モデルは単語間の相対的な位置関係も学習しやすくなります。 例えば、モデルは「3つ前の単語」といった関係性を、位置エンコーディングの差から捉えることができるようになります。

Pythonによるコード例

以下は、NumPyを使って三角関数による位置エンコーディングを生成する簡単なコード例です。

import numpy as np
def get_positional_encoding(max_seq_len, d_model): # 位置エンコーディングの計算 positional_encoding = np.zeros((max_seq_len, d_model)) position = np.arange(0, max_seq_len, dtype=np.float32).reshape(-1, 1) div_term = np.exp(np.arange(0, d_model, 2, dtype=np.float32) * -(np.log(10000.0) / d_model)) # 偶数次元にsinを適用 positional_encoding[:, 0::2] = np.sin(position * div_term) # 奇数次元にcosを適用 positional_encoding[:, 1::2] = np.cos(position * div_term) return positional_encoding
# パラメータ設定
max_sequence_length = 50 # 最大シーケンス長
embedding_dimension = 128 # 埋め込みベクトルの次元数
# 位置エンコーディングの取得
pe_matrix = get_positional_encoding(max_sequence_length, embedding_dimension)
print("位置エンコーディング行列の形状:", pe_matrix.shape)
# 出力: 位置エンコーディング行列の形状: (50, 128) 

位置エンコーディングの種類

位置エンコーディングには、いくつかの異なるアプローチが存在します。 主なものを以下の表にまとめました。

まとめ