はじめに：分散表現ってなんだろう？
「分散表現（ぶんさんひょうげん）」という言葉を聞いたことはありますか？ これは、AIが人間の言葉を理解するために欠かせない、自然言語処理（NLP）という分野の非常に重要な技術です。
一言でいうと、分散表現とは「単語の意味を、数値の集まり（ベクトル）で表現する手法」のことです。 コンピュータは「猫」や「犬」といった単語をそのままでは理解できません。しかし、これを数値のベクトルに変換することで、単語同士の意味の近さや関係性を計算できるようになります。
この記事では、なぜ分散表現が重要なのか、どのような仕組みで動いているのか、そしてどのように活用されているのかを、初心者の方にも分かりやすく解説していきます。
なぜ分散表現が必要なの？ 伝統的な手法との比較
分散表現のすごさを理解するために、まずは以前使われていた「one-hot表現（ワンホットひょうげん）」という手法を見てみましょう。
one-hot表現とその問題点
one-hot表現は、辞書にあるすべての単語に番号を振り、該当する単語の番号だけを「1」、その他すべてを「0」で表現する方法です。
例えば、辞書に「猫」「犬」「鳥」「車」の4つの単語しかなかった場合、それぞれの単語は以下のように表現されます。
- 猫:
- 犬:
- 鳥:
- 車:
この方法には、大きな問題点が2つありました。
- 単語の意味の近さを表現できない：one-hot表現では、すべての単語が独立しているため、「猫」と「犬」が「車」よりも意味的に近い、という関係を全く表現できません。
- データが巨大になる：辞書の単語数が10万語あれば、1つの単語を表すために10万個の要素を持つベクトルが必要になります。ほとんどの要素が「0」であるため、非常に効率が悪くなります。
分散表現による解決策
分散表現は、これらの問題を解決します。分散表現では、単語を低次元で密な（0が少ない）実数値のベクトルで表現します。 例えば、50次元や300次元といったベクトルで、単語の持つ様々な意味的特徴を表現します。
このベクトル空間では、意味が近い単語は、ベクトル空間上で近い位置に配置されます。 これにより、「猫」と「犬」のベクトルは近く、「車」のベクトルは遠くに配置されるようになります。
さらに、分散表現の面白い点は、ベクトル同士で足し算や引き算ができることです。 最も有名な例として、次のような計算があります。
これは、単語が持つ「性別」のような概念をベクトルが捉えていることを示しています。このように、分散表現は単に単語を数値に置き換えるだけでなく、その意味や概念の関係性までを表現できる画期的な手法なのです。
分散表現を作る代表的な手法
分散表現を生成するためのモデル（アルゴリズム）はいくつか存在します。ここでは、特に有名な3つの手法を紹介します。
| 手法名 | 開発元・年 | 特徴 | メリット | デメリット |
|---|---|---|---|---|
| Word2Vec | Google (2013年) | ある単語の周辺に出現する単語（文脈）に基づいて学習する。CBOWとSkip-gramという2つのモデルがある。 | 学習が比較的速く、広く使われている。 | 単語単位で学習するため、未知語（学習データにない単語）には対応できない。 |
| GloVe | スタンフォード大学 (2014年) | テキスト全体の単語の共起（同時に出現する）統計情報を直接利用する。 Word2Vecが局所的な文脈を見るのに対し、GloVeは大域的な情報を使う。 | 大規模なデータから学習することで、高い精度のベクトルが得られることがある。 | 未知語に対応できない。学習に計算コストがかかる場合がある。 |
| fastText | Facebook (2016年) | 単語を文字のn-gram（例：「apple」→「app」「ppl」「ple」など）に分割して学習する。 | サブワードで学習するため、未知語にも対応できる。タイポにも比較的強い。 | モデルのサイズが大きくなる傾向がある。 |
Word2Vecのモデルについて少し補足します。
- CBOW (Continuous Bag-of-Words): 周りの単語から、中心にある単語を予測するモデルです。
- Skip-gram: 中心の単語から、周りにある単語を予測するモデルです。 一般的に、データ量が少ない場合や低頻度の単語に対して、Skip-gramの方が高い精度を出す傾向があると言われています。
分散表現はどのように使われている？活用事例
単語の意味をベクトルで表現できる分散表現は、様々な自然言語処理のタスクの基礎技術として広く応用されています。
- 検索エンジン: ユーザーが入力した検索キーワードと、Webページの内容の関連性を判断するのに使われます。キーワードが完全に一致しなくても、意味的に近い内容のページを見つけることができます。
- 機械翻訳: ある言語の単語と、別の言語の単語の意味的な対応関係を学習させることで、翻訳の精度を向上させています。
- 感情分析: レビューやSNSの投稿が「ポジティブ」か「ネガティブ」かを判定する際に利用されます。単語の持つ感情的なニュアンスをベクトルで捉えることができます。
- レコメンデーションシステム: ユーザーの閲覧履歴や購買履歴から、その人が興味を持ちそうな他の商品を推薦するのに役立ちます。商品の説明文などからベクトルの類似度を計算します。
- チャットボット・対話システム: ユーザーの発言の意図を理解し、適切な応答を生成するための核となる技術です。
Pythonコードで体験してみよう
Pythonのライブラリgensimを使うと、Word2Vecを簡単に試すことができます。ここでは、簡単な単語の類似度を計算する例を示します。
# gensimライブラリをインストールする必要があります
# pip install gensim
from gensim.models import Word2Vec
# 簡単なサンプル文章（コーパス）
sentences = [ ['猫', 'は', '家', 'で', '眠る'], ['犬', 'は', '庭', 'で', '遊ぶ'], ['猫', 'は', '可愛い', '動物', 'だ'], ['犬', 'も', '可愛い', '動物', 'だ'], ['鳥', 'は', '空', 'を', '飛ぶ']
]
# Word2Vecモデルの学習
# size: ベクトルの次元数
# window: 対象単語の前後で、文脈とみなす単語の数
# min_count: この回数未満しか出現しない単語は無視する
# sg: 1ならSkip-gram、0ならCBOW
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=1)
# 「猫」に意味が近い単語をトップ3まで表示
similar_words = model.wv.most_similar('猫', topn=3)
print("「猫」に類似する単語:", similar_words)
# 「猫」と「犬」の類似度を計算（-1から1の間の値）
similarity = model.wv.similarity('猫', '犬')
print(f"「猫」と「犬」の類似度: {similarity}")
# 有名なアナロジー計算
# 「王様 - 男性 + 女性」のような計算
# この小さなデータセットでは意味のある結果は出にくいですが、大規模データなら可能
# result = model.wv.most_similar(positive=['王様', '女性'], negative=['男性'])
# print(result) 上記のコードは非常に小さなデータセットで学習させているため、精度の高い結果は得られませんが、大規模なテキストデータ（Wikipediaなど）で学習させると、非常に興味深い単語の関係性を発見することができます。
まとめ
今回は、自然言語処理の根幹をなす「分散表現」について解説しました。
- 分散表現は、単語の意味を数値のベクトルで表現する技術。
- 単語間の意味の近さや関係性を計算できるようになり、コンピュータの言語理解を大きく前進させた。
- 伝統的なone-hot表現の「意味を捉えられない」「データが巨大になる」という課題を解決した。
- Word2Vec, GloVe, fastTextなどの代表的な手法がある。
- 機械翻訳や検索エンジンなど、身の回りの様々なAI技術に応用されている。
分散表現は、ChatGPTのような巨大言語モデル（LLM）の基礎にもなっている重要な考え方です。この技術の登場により、AIと人間の距離は劇的に縮まりました。この記事が、AIと言葉の世界への興味を深める一助となれば幸いです。