はじめに：方策勾配法とは？
方策勾配法 (Policy Gradient Method) とは、機械学習の一分野である「強化学習」において、最適な行動ルール（＝方策）を直接見つけ出すためのアルゴリズムです。 エージェント（行動主体）が試行錯誤を繰り返しながら、より多くの「報酬」を得られるように、自らの行動方針を更新していきます。
強化学習には、大きく分けて「価値ベースの手法」と「方策ベースの手法」があります。
- 価値ベースの手法 (例: Q学習): 各行動の「価値」を学習し、最も価値の高い行動を選びます。 どの行動がどれくらい良い結果をもたらすかを予測することに主眼を置いています。
- 方策ベースの手法 (例: 方策勾配法): 行動の価値を直接計算するのではなく、「どのような状況で、どの行動を、どのくらいの確率でとるか」という「方策」そのものを直接学習します。
方策勾配法は、特にロボットの制御のように連続的な動きを扱う問題や、行動の選択肢が非常に多い複雑な問題で力を発揮します。
そもそも「方策(Policy)」って何？
方策勾配法を理解する上で欠かせないのが「方策」という概念です。
方策 (Policy) とは
例えば、迷路の中にいるロボット（エージェント）を考えてみましょう。
- 状態: 迷路の中の現在地
- 行動: 上、下、左、右に進む
- 方策: 「この場所（状態）にいるなら、右に70%、上に20%、左に5%、下に5%の確率で進む」といったルール。
強化学習の最終的な目標は、将来にわたって得られる報酬の合計（累積報酬）が最大になるような、最適な方策を見つけ出すことです。
方策勾配法の仕組み
方策勾配法の基本的な考え方は非常にシンプルです。
「良い結果（高い報酬）に繋がった行動」の確率を上げ、
「悪い結果（低い報酬）に繋がった行動」の確率を下げる。
これを数学的に実現するのが「勾配」です。 「勾配」とは、関数のある地点での傾きを示すもので、この傾きが大きい方向にパラメータを動かすことで、関数の値を効率的に大きくできます。
方策勾配法では、「方策（パラメータで表現された関数）」を「累積報酬の期待値」で微分し、その勾配を計算します。 そして、計算した勾配の方向に方策のパラメータを少しずつ更新していくことで、より良い方策へと改善していきます。 この更新プロセスを「勾配上昇法」と呼びます。
代表的な方策勾配法のアルゴリズム
方策勾配法にはいくつかの代表的なアルゴリズムが存在します。ここでは特に重要な2つを紹介します。
| アルゴリズム | 説明 |
|---|---|
| REINFORCE | 方策勾配法の中でも最も基本的でシンプルなアルゴリズムです。 モンテカルロ法に基づいており、一連の行動（エピソード）が完全に終了してから、そのエピソードで得られた全体の報酬を使って方策を更新します。 実装は比較的簡単ですが、学習のばらつき（分散）が大きくなりやすいという特徴があります。 |
| Actor-Critic |
REINFORCEの学習が不安定になりやすいという課題を改善した手法です。 このアルゴリズムは2つのニューラルネットワークを使用します。
|
メリットとデメリット
方策勾配法は強力な手法ですが、万能ではありません。メリットとデメリットを理解することが重要です。
| メリット | デメリット |
|---|---|
|
|
簡単なコードのイメージ
ここでは、REINFORCEアルゴリズムがどのような流れで実装されるのか、Python風の疑似コードで示します。
# 方策を表現するニューラルネットワークを初期化
policy_network = initialize_policy_network()
optimizer = Adam(policy_network.parameters())
# 学習を繰り返す
for episode in range(NUM_EPISODES):
# エピソードのデータを保存するリスト
saved_log_probs = []
rewards = []
# エピソードを開始
state = env.reset() # 環境を初期化
done = False
while not done:
# 1. 方策に従って行動を選択
action_probs = policy_network(state) # 現在の状態から各行動の確率を出力
action = choose_action(action_probs) # 確率に基づいて行動を選択
# 2. 選択した行動を実行し、次の状態と報酬を得る
next_state, reward, done, _ = env.step(action)
# 3. データを保存
saved_log_probs.append(log(action_probs[action]))
rewards.append(reward)
state = next_state
# 4. エピソード終了後、方策を更新
returns = calculate_returns(rewards) # 各ステップでの将来の累積報酬を計算
policy_loss = []
for log_prob, R in zip(saved_log_probs, returns):
# 報酬(R)が大きかった行動の確率(log_prob)がより大きくなるように損失を計算
policy_loss.append(-log_prob * R)
# 損失の合計を計算し、ネットワークのパラメータを更新
optimizer.zero_grad()
loss = torch.cat(policy_loss).sum()
loss.backward()
optimizer.step()
まとめ
方策勾配法は、行動方針である「方策」を直接的に改善していく強化学習の強力なアプローチです。 学習の不安定さなどの課題はあるものの、連続的な行動空間を扱えるなどの大きな利点があり、Actor-Criticなどの発展的な手法の基礎となっています。 有名な囲碁AI「AlphaGo」でも活用されるなど、現代の複雑なAIシステムの実現に貢献している重要な技術です。