研究室の研究成果のプログラムを公開しています.研究成果のトピックごとに並べています.研究で使われた場合は,各項目の論文を引用していただけると幸いです. Programs implementing our research results, grouped by research topic. If you use them in your research, please cite the corresponding papers.
研究成果の紹介を読む →About this research topic →
共分散行列とは別に,変数ごとのスケール(対角成分)を速く学習する CMA-ES(diagonal decoding).変数ごとにスケールが大きく異なる悪条件の問題を効率よく解ける.CMA-ES with diagonal decoding, which adapts coordinate-wise scaling faster than the full covariance matrix and solves badly scaled, ill-conditioned problems efficiently.
オプション CMA_diagonal_decodingoption CMA_diagonal_decoding·PyPop7 DDCMA(第三者による実装)DDCMA (third-party implementation) 共分散行列を対角行列と 1 本のベクトルで表し,次元数に比例する計算量で動く高次元向けの CMA-ES.A CMA-ES for high dimension that restricts the covariance matrix to a diagonal matrix plus one vector, with time and space linear in the dimension.
共分散行列を対角行列と k 本のベクトルで表す高次元向けの CMA-ES.k を探索中に自動で選ぶ機能を含む.A CMA-ES for high dimension that restricts the covariance matrix to a diagonal matrix plus k vectors, including online selection of k.
VkD CMA-ES(バージョン 2.2.0 で追加)VkD CMA-ES (added in version 2.2.0)·PyPop7 VKDCMA(第三者による実装)VKDCMA (third-party implementation) 射影に基づく制限付きの共分散行列適応と diagonal decoding を組み合わせた,高次元の問題のための CMA-ES.A CMA-ES for high-dimensional problems combining projection-based restricted covariance matrix adaptation with diagonal decoding.
自然勾配の推定精度に基づいて集団サイズを自動で調整する CMA-ES.多峰性やノイズのある問題で,集団サイズの事前の調整を不要にする.CMA-ES with population size adaptation based on the estimation accuracy of the natural gradient, removing the need to tune the population size on multimodal and noisy problems.
カテゴリ変数と連続変数が混在するブラックボックス最適化を,情報幾何に基づいて上位(カテゴリ変数)と下位(連続変数)の二段階の問題に分けて解く手法.Information-geometric bilevel decomposition for mixed-categorical black-box optimization, which splits the problem into an upper level over categorical variables and a lower level over continuous variables.
分布の学習率を自動で調整する CMA-ES.既定の集団サイズのままで,多峰性やノイズのある問題を解ける.CMA-ES with learning rate adaptation, which solves multimodal and noisy problems with the default population size.
CMA(lr_adapt=True)CMA(lr_adapt=True)·Optuna CmaEsSampler(lr_adapt=True)CmaEsSampler(lr_adapt=True) CMA-ES の標準的な Python 実装(主開発者 N. Hansen.秋本は共同開発者).diagonal decoding などの研究室の成果も取り込まれている.The reference Python implementation of CMA-ES (lead developer N. Hansen, co-developed by Y. Akimoto), including results of our lab such as diagonal decoding.
研究成果の紹介を読む →About this research topic →
近似的な最小化オラクルを用いて,微分を使わずにミニマックス(鞍点)問題を解く手法.船舶のロバストな自動着桟制御に応用した.Derivative-free min-max (saddle point) optimization with an approximate minimization oracle, applied to robust automatic berthing control.
最悪ケースでの順位を近似しながら探索する CMA-ES による,ブラックボックスのミニマックス連続最適化.Black-box min-max continuous optimization using CMA-ES with worst-case ranking approximation.
不確かさのシナリオの部分集合を適応的に選んで評価回数を減らす,最悪ケース最適化のための CMA-ES.CO₂ 地中貯留の坑井配置に応用した.CMA-ES with adaptive scenario subset selection for worst-case optimization, applied to well placement for CO2 geological storage.
上位問題の価値関数を順位に基づいて近似し,ブラックボックス二段階最適化を速くする手法.Accelerating black-box bilevel optimization with rank-based approximation of the upper-level value function.
研究成果の紹介を読む →About this research topic →
分散型の二段階強化学習で,上位の方策の更新に必要な超勾配を少ないサンプルで推定する手法.Sample-efficient hypergradient estimation for decentralized bilevel reinforcement learning.
下位の学習者がブラックボックスの二段階強化学習で,報酬の推定に基づいて超勾配を求める手法.Reward-estimated hypergradient for bilevel reinforcement learning with a black-box follower.
研究成果の紹介を読む →About this research topic →
LLM のアラインメントに使う選好データのラベルを,できるだけ少ないコストで反転させて学習結果を誘導する毒入れ攻撃.アラインメントの脆弱性の分析に用いる.A label-flipping poisoning attack on preference data for LLM alignment that steers the learned model at minimum cost, used to analyze the vulnerability of alignment.
有用性と無害性などの複数の基準のもとで,制約付きの方策最適化として LLM を段階的にアラインメントする手法.学習済みモデルも公開している.Stepwise alignment of language models as constrained policy optimization, e.g., for helpfulness under a harmlessness constraint. Trained models are also released.
研究成果の紹介を読む →About this research topic →
シミュレータのモデルの誤差に対して最悪ケースの性能を最大化する,オフポリシーのアクター・クリティック法.A max-min off-policy actor-critic method that maximizes worst-case performance under model misspecification.
研究成果の紹介を読む →About this research topic →
精度と計算コストの異なる複数のシミュレータを,順位相関に基づいて探索中に自動で切り替える最適化.構造のトポロジー最適化に応用した.Optimization that automatically switches among simulators of different fidelity and cost based on rank correlation, applied to structural topology optimization.
明示的な制約を持つブラックボックス最適化のための,適応的な順位に基づく制約対処法.Adaptive ranking-based constraint handling for explicitly constrained black-box optimization.
適応的な確率的自然勾配法による,one-shot のニューラルアーキテクチャ探索.One-shot neural architecture search with the adaptive stochastic natural gradient method.
強化学習の貢献度分配(credit assignment)の考え方を取り入れて,ニューラルアーキテクチャ探索を効率化する手法.Efficient neural architecture search with credit assignment.
似たタスクでの探索結果から初期分布を作って探索を始める(warm starting),ハイパーパラメータ最適化のための CMA-ES.Warm-starting CMA-ES for hyperparameter optimization, which builds the initial distribution from the results on similar tasks.
get_warm_start_mgd()get_warm_start_mgd()·Optuna CmaEsSampler(source_trials=…)CmaEsSampler(source_trials=…) 計算コストの高い多目的最適化のための,Bézier 単体による補間を用いた二段階の枠組み.A two-phase framework with Bézier simplex-based interpolation for computationally expensive multi-objective optimization.