上位の設計者がインセンティブや環境を決め,それに応じて学習する下位のエージェントの振る舞いを通して設計の良し悪しを評価する問題を扱います.下位のエージェントの学習過程は設計者から見ればブラックボックスであり,少ない試行で設計を改善する方法を研究しています.We study problems in which an upper-level designer sets incentives or environments, and the quality of the design is judged through the behavior of a lower-level agent that learns in response. The agent's learning process is a black box to the designer, and we develop methods that improve the design with few trials.
キーワード:強化学習,二段階最適化,マルチエージェントKeywords: Reinforcement Learning, Bilevel Optimization, Multi-Agent Systems
社会や工学のシステムでは,設計者(リーダー)がインセンティブや環境を定め,それに応じて別のエージェント(フォロワー)が自らの目的のために学習し行動する,という構造がしばしば見られます.このとき設計者は,フォロワーの学習の過程に直接介入することはできず,その結果として現れる振る舞いを観測して設計を改善しなければなりません.私達は,このような問題を,リーダーの目的がフォロワーの解くマルコフ決定過程の最適方策に依存する二段階強化学習として定式化し,フォロワーをブラックボックスとみなして設計を最適化する方法を研究しています.
[ACML 2025] では,2 人一般和の確率的シュタッケルベルクゲームについて,リーダーの性能の単調な改善を保証する方策反復法を提案しました.既存の方策勾配法や価値反復法にはこの保証がなく,また定常なシュタッケルベルク均衡が存在するとも限らないことから,より広い概念としてパレート最適性を導入し,リーダーが近視眼的な場合に提案法がパレートフロントに収束することを示しています.[ICAPS 2026] では,リーダーの戦略に応じてフォロワーの最適方策がどう変わるかを含めたリーダーの目的関数の勾配(超勾配,hypergradient)を導出し,ボルツマン共分散トリックを用いることで,リーダーの決定空間が高次元であっても,相互作用のサンプルだけから超勾配を推定できる方法を提案しました.分散型(decentralized)の設定の 2 人マルコフゲームに対する,初めての超勾配に基づく方法です.
[NeurIPS 2026] では,さらに,フォロワーの報酬関数がリーダーに分からないブラックボックスなフォロワーを扱いました.観測した軌跡から逆強化学習によってフォロワーの報酬を推定し,超勾配を計算する RE-HG を提案しています.素朴に逆強化学習を用いると生じる報酬整形によるバイアスと数値的な不安定さを,多様な環境ダイナミクスの情報を集約してバイアスを打ち消す仕組みと,固有値の打ち切りによる暗黙の正則化で抑えています.報酬が既知の場合(オラクル)の超勾配とよく一致し,同等以上の性能を示すとともに,オラクルが局所解にとらわれる鋭い報酬地形でも安定した勾配が得られることを示しました.[PPSN 2026] では,報酬の整形を上位の問題として進化計算で最適化し,強化学習エージェントの未知の環境への汎化性能を高める GERS を提案しました.下位では少数の訓練環境で整形した報酬のもとでエージェントを学習し,上位では CMA-ES が,検証環境での整形前の累積報酬(スコア)だけを観測して整形のパラメータを調整します.検証環境の軌跡を見ずにスコアだけを用いる設定でも,検証環境の軌跡を使えるドメインランダム化と同程度の汎化性能が得られています.
In social and engineering systems, a designer (leader) often sets incentives or environments, and another agent (follower) learns and acts for its own purpose in response. The designer cannot intervene in the follower's learning process directly and must improve the design by observing the resulting behavior. We formulate such problems as bilevel reinforcement learning, in which the leader's objective depends on the optimal policy of the Markov decision process solved by the follower, and develop methods that optimize the design while treating the follower as a black box.
In [ACML 2025], we proposed a policy iteration algorithm for two-player general-sum stochastic Stackelberg games that guarantees monotone improvement of the leader's performance. Since existing policy gradient and value iteration methods lack this guarantee, and a stationary Stackelberg equilibrium does not always exist, we introduced Pareto optimality as a broader notion and showed that the proposed method converges to the Pareto front when the leader is myopic. In [ICAPS 2026], we derived the gradient of the leader's objective that accounts for how the follower's optimal policy changes with the leader's strategy (the hypergradient), and proposed a method that, using the Boltzmann covariance trick, estimates it from interaction samples alone, even when the leader's decision space is high-dimensional. It is the first hypergradient-based method for two-player Markov games in decentralized settings.
In [NeurIPS 2026], we further addressed black-box followers whose reward function is unknown to the leader. We proposed RE-HG, which recovers the follower's reward from observed trajectories by inverse reinforcement learning and uses it to compute the hypergradient. The reward-shaping bias and numerical instability caused by naive inverse reinforcement learning are suppressed by a bias-cancellation mechanism that aggregates information across diverse environment dynamics, and by implicit regularization through eigenvalue truncation. Its gradient estimates align with those of the white-box oracle, with comparable or better performance, and remain stable and useful in sharp reward landscapes where the oracle gets stuck in local optima. In [PPSN 2026], we proposed GERS, which treats reward shaping as an upper-level problem solved by evolutionary computation to improve the generalization of reinforcement learning agents to unseen environments. At the lower level, an agent is trained on a few environments with a shaped reward; at the upper level, CMA-ES tunes the shaping parameters by observing only the unshaped cumulative reward (score) on validation environments. Even without access to trajectories in the validation environments, it achieved generalization comparable to domain randomization, which uses those trajectories.