はじめに：Actor-Criticとは？
Actor-Critic（アクター・クリティック）は、人工知能（AI）が試行錯誤を通じて最適な行動を学習する「強化学習」という分野のアルゴリズムの一つです。 この手法は、「実際に行動する役者（Actor）」と「その行動を評価する評論家（Critic）」という2つの役割を組み合わせることで、効率的かつ安定して学習を進めることができるのが大きな特徴です。
ActorとCriticの役割分担
Actor-Criticの仕組みを理解する鍵は、2つのコンポーネントがどのように連携するかにあります。
Actor（役者）：行動を決める人
Actorは、現在の状況（状態）を認識し、次にとるべき行動を決定します。 これは「方策（Policy）」と呼ばれ、Actorの目的は、この方策をより良くしていくことです。 例えば、ゲームキャラクターを操作する場合、「この場面では右に動くべきか、ジャンプすべきか」を決めます。
Critic（評論家）：行動を評価する人
Criticは、Actorがとった行動の結果を評価します。 具体的には、「その行動はどれくらい良かったか？」を「価値（Value）」として数値化します。 この評価は、「その行動をとった結果、最終的に得られる報酬がどれくらいか」という予測に基づいています。
学習の仕組み：二人三脚で賢くなる
Actor-Criticの学習プロセスは、ActorとCriticの絶え間ない対話によって進みます。
- Step 1行動: Actorが現在の状態を基に方策に従って行動を選択します。
- Step 2評価: Criticがその行動を評価します。「今の行動は思ったより良かった（悪かった）」というフィードバック（TD誤差と呼ばれます）を計算します。
- Step 3Criticの更新: Criticは、自分の評価がより正確になるように、価値観（価値関数）を更新します。
- Step 4Actorの更新: Actorは、Criticからの「思ったより良かった」という評価を頼りに、その行動をとりやすくするように方策を更新します。逆に「悪かった」と評価されれば、その行動をとりにくくします。
このサイクルを何度も繰り返すことで、Actorはより多くの報酬を得られる行動を学習し、Criticはより正確な評価ができるようになっていきます。 このように、方策を直接更新する「方策勾配法」と、価値を基準にする「価値ベースの手法」の長所を組み合わせることで、安定した学習を実現しています。
Actor-Criticの主な手法
Actor-Criticには、基本的なアイデアをさらに発展させた様々な派生アルゴリズムが存在します。ここでは代表的なものをいくつか紹介します。
| アルゴリズム名 | 特徴 |
|---|---|
| A2C (Advantage Actor-Critic) | 基本的なActor-Criticを改良した手法。Criticの評価に「Advantage（アドバンテージ）」という指標を使います。これは「行動の価値」が「平均的な価値」と比べてどれだけ良いかを示すもので、学習のばらつき（分散）を抑え、安定性を高めます。 |
| A3C (Asynchronous Advantage Actor-Critic) | 2016年にDeepMind社によって提案された画期的な手法です。複数のActor-Criticエージェントを並列（非同期）で動かし、それぞれが異なる経験を積みます。これにより、多様なデータを効率的に収集でき、学習速度と安定性を大幅に向上させました。 |
| DDPG (Deep Deterministic Policy Gradient) | 車のハンドルの角度やロボットアームの力加減など、連続的な値を持つ行動空間を扱うのに特化した手法です。DQN（Deep Q-Network）のアイデアを取り入れており、Actorは決定論的な（常に同じ状況なら同じ行動をとる）方策を学習します。 |
| SAC (Soft Actor-Critic) | 報酬の最大化に加えて、「方策のエントロピー（ランダム性）」も最大化することを目指す手法です。これにより、エージェントは積極的に未知の行動を試すようになり（探索）、局所的な最適解に陥るのを防ぎ、より頑健な方策を学習できます。 |
実装のイメージ（擬似コード）
実際にActor-Criticがどのようにコードで表現されるか、Python風の擬似コードで見てみましょう。
# ActorとCriticのネットワークを初期化
actor = ActorNetwork()
critic = CriticNetwork()
# たくさんのエピソード（試行）を繰り返す
for episode in range(NUM_EPISODES): # 環境をリセットして、最初の状態を取得 state = env.reset() # エピソードが終わるまでループ while not done: # 1. Actorが現在の状態から行動を決定 action = actor.predict(state) # 2. 決定した行動を実行し、次の状態、報酬、終了フラグを得る next_state, reward, done = env.step(action) # 3. Criticが現在の状態と次の状態の価値を評価 current_value = critic.predict(state) next_value = critic.predict(next_state) # 4. TD誤差（どれだけ予測がズレたか）を計算 # TD誤差 = (報酬 + 次の状態の価値) - 現在の状態の価値 td_error = (reward + GAMMA * next_value) - current_value # 5. Criticを更新（TD誤差が小さくなるように学習） critic.train(state, td_error) # 6. Actorを更新（Criticの評価（TD誤差）を基に、より良い行動をとるように学習） actor.train(state, action, td_error) # 状態を更新 state = next_state GAMMAは割引率と呼ばれ、未来の報酬をどれだけ重視するかを決めるパラメータです。- 実際の実装では、これらのネットワークはニューラルネットワークで構築されることがほとんどです。
まとめ
Actor-Criticは、「行動するActor」と「評価するCritic」が互いに協力し合うことで、複雑な問題に対する最適な行動方針を学習する、強化学習の強力なフレームワークです。 方策ベースと価値ベースの手法の良いところを組み合わせることで、安定かつ効率的な学習を可能にし、数多くの発展的なアルゴリズムの基礎となっています。 強化学習の世界に足を踏み入れるなら、必ず知っておきたい重要な概念の一つと言えるでしょう。