AIや機械学習の世界に足を踏み入れると、「強化学習」という言葉を耳にすることがあります。その中でも、AIが賢く行動を学ぶための基本的な戦略として「ε-greedy（イプシロングリーディ）方策」は非常に重要な概念です。
この記事では、「ε-greedy方策って一体何？」という初心者の方でも理解できるよう、その仕組みから具体的な応用例まで、わかりやすく解説していきます。
1. ε-greedy方策を理解する前提知識：探索と活用のジレンマ
ε-greedy方策の話に入る前に、まず強化学習における永遠の課題である「探索と活用のトレードオフ（またはジレンマ）」について理解する必要があります。
これをレストラン選びに例えてみましょう。
- 活用 (Exploitation): あなたは既にお気に入りの、とても美味しいパスタ屋さんを知っています。確実においしいランチにありつくために、今日もそのパスタ屋さんに行くのが「活用」です。これまでの経験で最も良いとわかっている選択肢を実行することです。
- 探索 (Exploration): しかし、近所にはまだ入ったことのない新しいレストランがたくさんあります。もしかしたら、お気に入りのパスタ屋さんを超える、絶品のレストランが隠れているかもしれません。その可能性を求めて、今日はあえて新しいレストランに入ってみるのが「探索」です。
「活用」ばかりしていると、もっと良い選択肢を見逃すかもしれません。 逆に「探索」ばかりしていると、失敗が続いて満足のいく結果が得られないかもしれません。
強化学習を行うAI（エージェント）も同じジレンマに直面します。現在の知識で最善の報酬が期待できる行動を「活用」すべきか、未知の行動を「探索」して、将来さらに大きな報酬を得るチャンスを探すべきか、そのバランスをうまくとる必要があるのです。
2. ε-greedy方策のシンプルな仕組み
ε-greedy方策は、この「探索と活用」のジレンマを解決するための、非常にシンプルで強力なアルゴリズムです。
その名の通り、「ε（イプシロン）」というギリシャ文字と「greedy（貪欲）」という単語が鍵となります。
仕組みは以下の通りです。
- ε (イプシロン): 0から1の間の小さな値（例えば0.1）で、「探索」を行う確率を示します。 この値は「探索率」とも呼ばれます。
- εが0.1なら、10%の確率でランダムな行動（探索）をします。
- greedy (貪欲): 「活用」の部分を指します。確率 (1-ε) で、過去の経験から最も良い結果（最大の報酬）が得られると期待される行動を「貪欲に」選択します。
- εが0.1なら、90%の確率で最善の行動（活用）をします。
このεの値を調整することで、AIがどれだけ新しいことに挑戦するか（探索）、どれだけ堅実な道を選ぶか（活用）のバランスをコントロールできるのです。
3. ε減衰方策とPythonコード例
ε減衰（イプシロン減衰）方策
実践では、εの値をずっと固定にするのではなく、学習が進むにつれて徐々に小さくしていく「ε減衰（ε-decay）方策」または「焼きなましε-greedy法」と呼ばれる手法がよく使われます。
これは非常に合理的で、次のような考えに基づいています。
- 学習初期: まだどの行動が良いかわからないため、εを大きめに設定して、積極的に探索します。
- 学習後期: 学習が進み、どの行動が良いかの確信度が高まってきたら、εを小さくして、活用の割合を増やし、安定して高い報酬を狙います。
このように、状況に応じて探索の度合いを変化させることで、より効率的に最適な行動を見つけることができます。
Pythonによる簡単な実装例
ε-greedy方策がどのように機能するか、Pythonのコードで見てみましょう。ここでは、複数の選択肢（行動）の中から1つを選ぶ関数を考えます。
import numpy as np
import random
def epsilon_greedy_policy(epsilon, q_values): """ ε-greedy方策に基づいて行動を選択する関数 Args: epsilon: 探索を行う確率 (0から1の値) q_values: 各行動の現在の価値を格納したリストまたはNumpy配列 Returns: 選択された行動のインデックス """ # 0から1までの一様乱数を生成 if random.random() < epsilon: # 探索：ランダムに行動を選択 print(f"【探索】(確率 {epsilon})") return np.random.randint(0, len(q_values)) else: # 活用：現在最も価値が高い行動を選択 print(f"【活用】(確率 {1-epsilon})") return np.argmax(q_values)
# --- 実行例 ---
# 各行動の価値（例：スロットマシンの期待報酬など）
action_values = [1.5, 2.8, 2.1, 3.5, 3.2]
epsilon_value = 0.1
print(f"行動の価値リスト: {action_values}")
print(f"最も価値の高い行動はインデックス {np.argmax(action_values)} の行動（価値: {np.max(action_values)}）です。")
print("-" * 30)
# 10回行動を選択してみる
for i in range(10): selected_action = epsilon_greedy_policy(epsilon_value, action_values) print(f" {i+1}回目: 選択された行動 = {selected_action}\n") このコードを実行すると、約10%の確率で「探索」が選ばれ、価値が最大ではない行動が選択されることがあります。それ以外の約90%の確率では「活用」が選ばれ、最も価値が高いインデックス3の行動が選択されるのが確認できます。
4. ε-greedy方策の応用例
ε-greedy方策のシンプルさと効果から、様々な分野で応用されています。
- Web広告の最適化: 複数の広告バナー（A, B, C…）がある場合、どのバナーが最もクリック率が高いかを効率的に見つけ出します。「活用」で最もクリックされているバナーを表示しつつ、「探索」で他のバナーも時々表示して、隠れた高パフォーマンスのバナーを見逃さないようにします。
- ニュース推薦システム: ユーザーが普段読むジャンルの記事（活用）を推薦しつつ、たまに全く違うジャンルの記事（探索）を見せることで、ユーザーの新たな興味を発見し、よりパーソナライズされた体験を提供します。
- ロボットの経路探索: ロボットがゴールまでの最短経路を見つける際に、既知の最も効率的なルート（活用）を通りつつ、時々未知のルート（探索）を試すことで、予期せぬ障害物を避けたり、より近道を発見したりします。
- 多腕バンディット問題: 複数のスロットマシンがあり、それぞれ当たりの確率が異なるとき、どのマシンをプレイすれば最も多くの報酬を得られるか、という問題です。これはε-greedy方策が応用される典型的な問題として知られています。
5. 他の手法との比較
ε-greedy方策は万能ではありません。探索と活用のバランスを取る手法は他にも存在します。ここでは代表的な手法との違いを簡単に紹介します。
| 手法 | 特徴 | 長所 | 短所 |
|---|---|---|---|
| ε-greedy方策 | 確率εでランダムに、確率1-εで最善の行動を選択する。 | 実装が非常にシンプルで計算コストが低い。 | 探索時に全ての行動を等しくランダムに選ぶため、明らかに価値が低い行動も選んでしまい非効率な場合がある。 |
| Softmax（ソフトマックス）方策 | 各行動の価値（Q値）に基づいて、価値が高い行動ほど高い確率で選択されるように確率的に行動を選ぶ。 | 価値の大きさに応じて選択確率が変わるため、価値の低い行動を全く選ばないわけではなく、滑らかな探索が可能。 | 温度パラメータの調整が必要になる場合がある。 |
| UCB (Upper Confidence Bound) 方策 | 各行動の期待値に「不確実性（まだあまり試していない度合い）」を上乗せして評価する。 | あまり試行回数が少ない行動（不確実性が高い行動）を優先的に探索するため、より戦略的な探索が可能。 | 実装がε-greedyに比べてやや複雑になる。 |
まとめ
ε-greedy方策は、強化学習における「探索と活用のジレンマ」に対する、シンプルかつ効果的なアプローチです。
- 一定の確率εで未知の行動を試す（探索）
- 残りの確率(1-ε)で既知の最善策をとる（活用）
この単純なルールにより、AIは安定して成果を出しつつも、より良い未来のために新しい可能性を探し続けることができます。強化学習を学び始める上で、まず最初に理解しておきたい fundamental なアルゴリズムの一つと言えるでしょう。