Webサイトを見ていると、表示される広告やニュース記事が人によって違うことがあります。これは、あなたの好みに合わせて最適なコンテンツを表示しようとする仕組みの一つで、その裏側ではバンディットアルゴリズムという賢い技術が使われているかもしれません。
この記事では、機械学習の手法の一つであるバンディットアルゴリズムについて、初心者の方にも分かりやすく、その基本的な考え方からA/Bテストとの違い、具体的な活用事例までを解説します。
バンディットアルゴリズムとは？
バンディットアルゴリズムは、一言でいうと「限られた試行回数の中で、最も良い結果をもたらす選択肢を見つけ出すための戦略」です。
この名前は、カジノにある複数のスロットマシン（別名：ワンアームド・バンディット、片腕の盗賊）の中から、どの台をプレイすれば最も多くのコイン（報酬）を得られるか、という問題に由来しています。 各スロットマシンがどのくらいの確率で当たるかは、事前に分かりません。実際にプレイしてみて、その結果から当たりやすい台を見つけ出していく必要があります。
この状況は、Webマーケティングや新薬の開発など、様々な現実世界の問題に応用できます。
「探索」と「活用」のジレンマ
バンディットアルゴリズムの核心は、「探索（Exploration）」と「活用（Exploitation）」という2つの行動のバランスをいかに取るか、という点にあります。
- 探索: まだ試した回数が少ない選択肢や、未知の選択肢を試すこと。 もしかしたら、今一番良いと思っている選択肢よりも、さらに良いものが隠れているかもしれないため、新しい情報を得ようとします。
- 活用: これまでの経験から、最も良い結果をもたらした選択肢を繰り返し選ぶこと。 現在得られる利益を最大化しようとします。
例えば、行きつけのレストランでいつも同じ「最高のメニュー（活用）」を頼むか、まだ食べたことのない「新しいメニュー（探索）」に挑戦するか、というジレンマに似ています。バンディットアルゴリズムは、この「探索」と「活用」を自動でうまく切り替えながら、最終的な利益（累積報酬）を最大化することを目指すのです。
A/Bテストとの違い
Webサイトの最適化などでよく使われる手法に「A/Bテスト」があります。バンディットアルゴリズムとしばしば比較されますが、その目的とアプローチには明確な違いがあります。
A/Bテストは、複数の案（A案、B案など）を一定期間、同じ割合でユーザーにランダムに表示し、どの案が最も効果が高いかを統計的に検証する手法です。 テスト期間中は、効果が低いと分かってきた案も、定められた割合で表示し続ける必要があります。
一方、バンディットアルゴリズムは、テストの途中経過をリアルタイムで学習し、より効果が高いと判断された案の表示割合を自動的に増やしていきます。 これにより、A/Bテストで発生しがちな「効果の低い案を表示し続けることによる機会損失」を最小限に抑えることができます。
| 項目 | A/Bテスト | バンディットアルゴリズム |
|---|---|---|
| 目的 | 複数の選択肢の中から「最も良い案」を統計的に有意な差をもって特定すること。 | 全体の期間を通じて「得られる成果（報酬）の総和」を最大化すること。 |
| アプローチ | テスト期間中は、各案を固定の割合で表示する（純粋な探索）。 | 結果に応じて、各案の表示割合を動的に変更する（探索と活用を両立）。 |
| 機会損失 | テスト期間中、劣った案を表示し続けるため機会損失が大きくなる可能性がある。 | 優れた案に自動で寄せていくため、機会損失を抑えることができる。 |
| 学習方法 | テスト期間が終了してから、結果をまとめて分析する。 | リアルタイムで結果を学習し、次のアクションに反映させる。 |
代表的なバンディットアルゴリズム
バンディットアルゴリズムにはいくつかの種類があり、それぞれ「探索」と「活用」のバランスの取り方が異なります。ここでは代表的なものをいくつか紹介します。
| アルゴリズム名 | 概要 |
|---|---|
| ε-Greedy（イプシロン・グリーディ）法 | 最もシンプルなアルゴリズムです。確率 ε (イプシロン、例: 0.1) でランダムに選択肢を選び（探索）、残りの確率 1-ε (例: 0.9) でその時点で最も成績の良い選択肢を選びます（活用）。 |
| UCB (Upper Confidence Bound) アルゴリズム | 各選択肢の「期待される報酬」に加えて、「不確実性（まだあまり試していない度合い）」も考慮します。 あまり試されていない選択肢を優先的に選ぶことで、有望な選択肢を見逃すリスクを減らします。 |
| Thompson Sampling（トンプソン・サンプリング） | ベイズ統計の考え方を用いた手法です。 各選択肢の報酬の確率分布を推定し、その分布からサンプリングした値が最も高かった選択肢を選びます。不確実性をうまく扱いながら、効率的に最適な選択肢を見つけ出すことができます。 |
活用事例
バンディットアルゴリズムは、様々な分野でその効果を発揮しています。
- Webサイトの最適化: ニュースサイトの記事推薦、ECサイトの商品推薦、広告クリエイティブの自動最適化などに活用されています。 例えば、複数の広告バナーの中から最もクリックされやすいものを自動的に判断し、表示割合を増やしていくことで、広告収益の最大化を図ります。サイバーエージェント社では、2025年にバンディットアルゴリズムを活用した広告クリエイティブ選択の最適化機能に関する論文が国際学会で採択されるなど、活発な研究と社会実装が進んでいます。
- 臨床試験: 複数の新薬候補の中から、より効果的な治療法を効率的に見つけ出すために応用されています。 効果の高い治療法に多くの患者を割り当てることができるため、倫理的な観点からも注目されています。
- 動的価格設定（ダイナミックプライシング）: 航空券やホテルの宿泊料金のように、需要に応じて価格を変動させるシステムにもバンディットアルゴリズムの考え方が応用されることがあります。
Pythonによる簡単な実装例 (ε-Greedy法)
最もシンプルなε-Greedy法がどのように動作するのか、Pythonのコード例を見てみましょう。
import numpy as np
# 各スロットマシンの当たりの確率（本当は未知）
true_probabilities = [0.1, 0.3, 0.05, 0.5]
n_arms = len(true_probabilities)
# 各腕の推定価値と試行回数を初期化
estimated_values = np.zeros(n_arms)
n_trials = np.zeros(n_arms)
# ε-Greedyアルゴリズムの設定
epsilon = 0.1
n_steps = 1000
total_reward = 0
for step in range(n_steps): # εの確率でランダムに腕を選ぶ（探索） if np.random.rand() < epsilon: arm = np.random.randint(n_arms) # 1-εの確率で最も価値が高い腕を選ぶ（活用） else: arm = np.argmax(estimated_values) # 選んだ腕を引いて報酬を得る (0か1) reward = 1 if np.random.rand() < true_probabilities[arm] else 0 # 試行回数と推定価値を更新 n_trials[arm] += 1 estimated_values[arm] += (reward - estimated_values[arm]) / n_trials[arm] total_reward += reward
print(f"合計報酬: {total_reward}")
print(f"各腕の試行回数: {n_trials}")
print(f"各腕の推定価値: {np.round(estimated_values, 3)}") このコードを実行すると、当たりの確率が最も高い（0.5）4番目の腕が多く試行され、その価値が他の腕よりも高く推定されていることが確認できます。
まとめ
バンディットアルゴリズムは、「探索」と「活用」のバランスを取りながら、リアルタイムで学習を進めることで、機会損失を最小限に抑えつつ成果を最大化する強力な手法です。
素早く最適化を行いたいWeb広告の配信や、常に新しい商品が追加されるECサイトの推薦システムなど、状況が変化し続ける中で最適な意思決定を下す必要がある場面で特に有効です。 A/Bテストとの違いを理解し、目的に応じて適切な手法を選択することが重要です。