はじめに：Source-Target Attentionとは？
Source-Target Attention（ソース・ターゲット・アテンション）は、ディープラーニング、特に自然言語処理の分野で非常に重要な役割を果たす「Attention（アテンション）機構」の一種です。一言でいうと、「ある情報（Source）と別の情報（Target）の関係性に着目し、関連の強い部分に『注意』を向ける仕組み」です。
例えば、英語の文章を日本語に翻訳する時を考えてみましょう。翻訳者は、原文（Source）の単語と、これから生成する訳文（Target）の単語の関係性を常に意識しています。Source-Target Attentionは、この翻訳者の「注意」の動きをコンピュータ上で再現する技術です。これにより、AIは2つの異なる情報のどの部分が互いに関連しているかを学習し、より自然で正確な翻訳や文章生成が可能になります。
この技術は、2017年に発表された画期的なモデル「Transformer」で中心的な役割を果たし、現代の多くのAIモデルの基盤となっています。
Source-Target Attentionの仕組み
Source-Target Attentionは、主に「Query（クエリ）」「Key（キー）」「Value（バリュー）」という3つの要素を使って動きます。少し専門的に聞こえますが、図書館で本を探すプロセスに例えると分かりやすいです。
- Query (クエリ): あなたが探したい情報（「こういう情報が欲しい」という問い合わせ）。
- Key (キー): 図書館の棚にある本（情報）のタイトルや見出し。Queryと照合するために使われます。
- Value (バリュー): 本（情報）そのものの内容。最終的にあなたが手に入れる情報です。
Source-Target Attentionでは、この3つの役割を以下のように分担します。
- Queryの準備: Target側の情報（例：翻訳文の次に来るべき単語の情報）からQueryが作られます。
- 関連度の計算: Queryと、Source側の全ての情報（例：原文の各単語）から作られたKeyを比較し、どれだけ関連が強いか（Attentionスコア）を計算します。
- Valueの重み付け: 計算されたAttentionスコアを使って、Source側の各情報に対応するValueに重みをつけます。関連が強いと判断されたValueほど、大きな重みが与えられます。
- 情報の集約: 重み付けされたValueをすべて足し合わせ、一つのベクトル（コンテキストベクトル）を作ります。このベクトルには、Targetが今必要としているSourceの情報が凝縮されています。
この一連の流れによって、モデルは出力（Target）を生成する各ステップで、入力（Source）のどの部分を参照すればよいかを動的に判断できるのです。
複数の呼び方：Cross-Attentionとの関係
Source-Target Attentionは、文脈によって「Cross-Attention（クロス・アテンション）」とも呼ばれます。これは、SourceとTargetという2つの異なる系列（データ）間で注意を交差（クロス）させる、という仕組みの本質を表した言葉です。基本的には、Source-Target AttentionとCross-Attentionは同じものを指していると考えて差し支えありません。
Self-Attentionとの違いは？
Attention機構には、Source-Target Attentionの他に「Self-Attention（自己注意機構）」という非常に重要な種類があります。この2つはよく比較されますが、決定的な違いは「誰と誰の関係性に注目するか」です。
以下の表で違いを整理してみましょう。
| 特徴 | Source-Target Attention (Cross-Attention) | Self-Attention |
|---|---|---|
| 目的 | 異なる2つの系列（例：原文と訳文）間の単語の関連性を捉える。 | 同一の1つの系列内での単語同士の関連性を捉える。 |
| 例（機械翻訳） | 訳文の「ペン」という単語を生成する際に、原文の「pen」という単語に強く注目する。 | 「その猫は自分のしっぽを追いかけている」という文で、「自分」が「猫」を指していることを理解する。 |
| Query, Key, Valueの由来 | QueryはTarget系列から、KeyとValueはSource系列から作られる。 | Query, Key, Valueのすべてが同じ系列から作られる。 |
| 主な役割 | エンコーダー（Source側）の情報をデコーダー（Target側）に伝える橋渡し役。 | 文の内部構造や文脈を深く理解する役割。 |
Transformerモデルでの役割
Source-Target Attentionが最も輝く舞台が、AIの歴史を変えたと言われるTransformerモデルです。Transformerは、文章を処理する「エンコーダー」と、文章を生成する「デコーダー」の2つの部分から構成されています。
- エンコーダー: 入力された文章（Source）を読み込み、その文脈的な意味をベクトル情報に変換します。ここでは主にSelf-Attentionが使われます。
- デコーダー: エンコーダーが作った情報を受け取り、出力する文章（Target）を単語一つずつ生成していきます。
Source-Target Attentionは、このデコーダーの中で決定的な役割を担っています。デコーダーは、次に出力する単語を考える際に、Source-Target Attentionを使ってエンコーダーが作った情報（原文全体の文脈）に問い合わせを行います。「今からこの単語を出力したいんだけど、原文のどこを見ればいい？」と尋ね、原文の最も関連性の高い部分に注目して、次の単語を決定するのです。
これにより、Transformerは非常に長く複雑な文章でも、文脈を見失うことなく、高品質な翻訳や要約を実現できるのです。
まとめ
Source-Target Attentionは、2つの異なる情報源を結びつけ、一方の文脈を考慮しながらもう一方を生成するための強力な仕組みです。
- 機械翻訳や文章要約など、入力（Source）と出力（Target）が存在するタスクで活躍します。
- 「Query」「Key」「Value」という要素を用いて、関連性の高い情報に動的に注意を向けます。
- 一つの文の中の関係を見るSelf-Attentionとは異なり、二つの文の間を結びつけるのが特徴です。
- 現代のAIモデル、特にTransformerの性能を支える中核技術の一つです。
この「注意」のメカニズムを理解することは、今日のAIがどのようにして人間のように言語を扱っているのかを知る上で、非常に重要な鍵となります。