ブラックボックス最適化研究室Black-Box Optimization Lab · 研究成果Research Findingsブラックボックス最適化研究室Black-Box Optimization Lab · 研究成果Research Findings

信頼できる強化学習Reliable Reinforcement Learning

実世界で強化学習を使うために,学習から実際の運用までを通して安全性の制約を守る方法や,シミュレータと実環境の違いに対して最悪ケースでも性能を保つ方法を研究しています.Toward real-world use of reinforcement learning, we develop methods that satisfy safety constraints throughout, from learning to deployment, and methods that keep worst-case performance under discrepancies between simulators and real environments.

学習から運用まで安全な強化学習Safe Reinforcement Learning from Training to Deployment

キーワード:強化学習,安全性Keywords: Reinforcement Learning, Safety

強化学習を実際のシステムに使うには,学習した方策を運用する段階だけでなく,学習の途中でも安全性の制約を守る必要があります.しかし,既存の安全な強化学習の多くは,学習から運用までを通して安全性を保つことが困難でした.

[NeurIPS 2025] では,学習から運用までを通して安全性を保証する PLS(Provably Lifetime Safe RL)を提案しました.まず,オフラインのデータから,目標とする累積報酬(リターン)を条件とする教師あり学習によって方策を学習し,運用時には,少数の目標リターンの値をガウス過程を用いて慎重に調整します.目標リターンと実際に得られるリターンの関係を解析してこの設計を正当化し,高い確率で安全性を保ちながら,最適に近い目標リターンを見つけられることを証明しています.実験では,安全性と報酬の両面で既存手法を上回りました.

To use reinforcement learning in real systems, safety constraints must be satisfied not only when the learned policy is deployed but also during learning. However, most existing safe reinforcement learning methods have difficulty maintaining safety throughout, from learning to deployment.

In [NeurIPS 2025], we proposed PLS (Provably Lifetime Safe RL), which guarantees safety from learning to deployment. A policy is first learned offline by return-conditioned supervised learning, and is then deployed while a small number of target return values are cautiously tuned with Gaussian processes. We justified this design by analyzing the relationship between target and actual returns, and proved that PLS finds near-optimal target returns while guaranteeing safety with high probability. In experiments, PLS outperformed baselines in both safety and reward.

関連する論文Related Publications

  1. NeurIPS 2025 CORE A*
    A Provable Approach for End-to-End Safe Reinforcement Learning
    Akifumi Wachi, Kohei Miyaguchi, Takumi Tanabe, Rei Sato, Youhei Akimoto
    Advances in Neural Information Processing Systems 38 (NeurIPS 2025), pp. 77338–77372 (2025)

シミュレータの不確かさを考慮した方策最適化Policy Optimization under Simulator Uncertainty

キーワード:強化学習,転移学習,ロバスト性Keywords: Reinforcement Learning, Transfer Learning, Robustness

安全性や経済性の観点から,シミュレーション上で強化学習を実施して,得られた方策を現実環境で運用する,という方針がしばしば採用されます.とりわけ,強化学習において深層学習技術を採用した深層強化学習の枠組みでは,方策を学習するために必要な環境とエージェントのインタラクション数が膨大になるため,シミュレーションの活用は必要不可欠といえます.しかし,シミュレーションでは運用時の現実環境を完全に表すことが出来ない,現実環境が時々刻々と変化してしまう,などの理由から,学習時に使用したシミュレーション環境と運用時の現実環境には差が生じてしまいます.この差によって,シミュレーション上で学習された方策が,現実環境では低性能で安全性に問題のある方策となる恐れがあります.

私達は,シミュレーションと現実環境の差を考慮した強化学習の検討をしています.[IJCNN 2022]では,シミュレーションと現実環境での状態の表現方法の差に着目し,シミュレーション上で得られた方策を現実環境に転移するための方法を提案しています.[NeurIPS 2022]では,状態遷移確率と報酬関数の差に着目し,考えうる最悪なケースでの性能を最大化するような強化学習アプローチを提案しています.後者については,Max-Min最適化問題として定式化されるため,最悪ケース・リスク・二段階の最適化で紹介したロバスト解探査と深い関わりがあります.

From the perspectives of safety and economics, the strategy of performing reinforcement learning in a simulation and then deploying the resulting policy in a real-world environment is often adopted. This is particularly crucial in the framework of deep reinforcement learning, which uses deep learning to learn policies. Since the number of interactions between the environment and the agent required to learn a policy is vast, leveraging simulations is essential. However, because simulations can't perfectly represent the real world and the real world itself is constantly changing, a gap exists between the simulation environment used for training and the real-world environment where the policy will be deployed. This gap means that a policy trained in simulation might perform poorly and even pose safety risks in the real world.

We are investigating reinforcement learning approaches that account for this gap between simulation and the real world. In [IJCNN 2022], we focused on the differences in state representation between simulation and reality and proposed a method for transferring a policy learned in simulation to a real-world environment. In [NeurIPS 2022], we focused on the differences in state transition probabilities and reward functions and proposed a reinforcement learning approach that maximizes performance in the worst-case scenario. The latter is formulated as a Max-Min optimization problem, which has a deep connection to the robust solution search introduced in Worst-Case, Risk-Aware, and Bilevel Optimization.

関連する論文Related Publications

  1. IJCNN 2022 学生が筆頭Student-led
    Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning
    Rei Sato, Kazuto Fukuchi, Jun Sakuma, Youhei Akimoto
    2022 International Joint Conference on Neural Networks (IJCNN), pp. 01–10 (2022)
  2. NeurIPS 2022 学生が筆頭Student-led CORE A*
    Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification
    Takumi Tanabe, Rei Sato, Kazuto Fukuchi, Jun Sakuma, Youhei Akimoto
    Advances in Neural Information Processing Systems 35 (NeurIPS 2022), pp. 6967–6981 (2022)

このトピックのソフトウェアSoftware for this topic