word2vecの概要
word2vecとは、一言で言うと「単語をコンピューターが扱える数値の羅列（ベクトル）に変換する技術」です。 2013年にGoogleの研究者トマス・ミコロフ氏らによって開発されたこの技術は、自然言語処理の世界に大きな進歩をもたらしました。
それまでの技術では、単語を単なる記号としてしか扱えず、単語同士の意味の関連性を捉えることが困難でした。 しかし、word2vecの登場により、単語の意味や文脈を数値的なデータとして表現できるようになったのです。 この技術は「単語の分散表現」と呼ばれ、似たような文脈で使われる単語は、ベクトル空間上で近い位置に配置されるという特徴があります。
有名な例：単語の足し引き
word2vecの仕組み：2つのモデル
word2vecは、ニューラルネットワークを用いて「ある単語の周りには、どのような単語が現れやすいか」を学習します。 この学習には、主に2つのモデルアーキテクチャが使われます。それが「CBOW（Continuous Bag-of-Words）」と「Skip-gram」です。
| モデル名 | 予測方法 | 特徴 |
|---|---|---|
| CBOW (Continuous Bag-of-Words) | 周辺の単語（コンテキスト）から、中心にある単語を予測する。 | 学習速度が速く、大規模なデータセットに適しています。頻繁に出現する単語に対して効果的です。 |
| Skip-gram (スキップグラム) | 中心の単語から、その周辺にある単語を予測する。 | CBOWに比べて学習に時間がかかりますが、精度の高いベクトルを生成しやすく、特にあまり出現しない単語（レアな単語）の表現に優れているとされています。 |
どちらのモデルも、「似た文脈で使われる単語は、似た意味を持つ」という分布仮説に基づいており、大量のテキストデータを学習させることで、精度の高い単語ベクトルを獲得します。
word2vecで何ができるのか？（応用例）
単語をベクトル化することで、様々な応用が可能になります。
- 単語の類似度計算: ベクトル間の距離や角度を計算することで、単語同士がどれだけ意味的に似ているかを数値化できます。
- 機械翻訳: 単語の対応関係を学習させることで、翻訳の精度向上に貢献します。
- 文章分類・要約: 文章に含まれる単語のベクトルを用いて、文章全体を分類したり、重要な部分を要約したりできます。
- レコメンドシステム: ユーザーが過去に興味を示した商品の説明文などから、関連性の高い商品を推薦することができます。
- 感情分析: テキストに含まれる単語から、書き手の感情（ポジティブ、ネガティブなど）を分析します。
- チャットボット・Q&Aシステム: ユーザーの質問の意図を理解し、より適切な回答を生成するために利用されます。
Pythonでの簡単なコード例
Pythonには、word2vecを手軽に利用できるgensimというライブラリがあります。 以下は、簡単なテキストデータからword2vecモデルを学習させ、単語の類似度を調べるコードの例です。
# gensimライブラリをインストール
# pip install gensim
from gensim.models import Word2Vec
# サンプルの文章データ（トークン化済み）
sentences = [ ['私', 'は', '犬', 'が', '好き', 'です'], ['私', 'は', '猫', 'も', '好き', 'です'], ['犬', 'は', '可愛い', '生き物', 'です'], ['猫', 'も', '可愛い', '生き物', 'です'], ['私', 'は', '車', 'を', '運転', 'します']
]
# Word2Vecモデルの学習
# vector_size: ベクトルの次元数
# window: 中心の単語から考慮する前後の単語数
# min_count: 学習に含める単語の最低出現回数
# sg=1: Skip-gramモデルを使用 (0ならCBOW)
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=1)
# 「犬」に最も似ている単語を検索
similar_words = model.wv.most_similar('犬')
print("「犬」に似ている単語:", similar_words)
# 「犬」と「猫」の類似度を計算
similarity = model.wv.similarity('犬', '猫')
print(f"「犬」と「猫」の類似度: {similarity}") まとめ
word2vecは、単語を意味のあるベクトルとして表現することで、コンピュータによる自然言語の高度な処理を可能にした画期的な技術です。 その基本的な考え方は、現在のChatGPTのような大規模言語モデル（LLM）にも繋がっています。 シンプルなモデルでありながら非常に強力で、今でも様々な場面で活用されている、自然言語処理を学ぶ上で欠かせない基礎知識の一つと言えるでしょう。