現在は主なテーマではありませんが,これまでに取り組んできた研究です.ニューラルネットワークの構造探索,深層生成モデルによる制約付き最適化,シミュレーション精度の自動選択を紹介します.These are topics we have worked on in the past, though they are not our main focus at present, including neural architecture search, constrained optimization with deep generative models, and automated selection of simulation fidelity.
キーワード:自動機械学習,深層学習Keywords: Automated Machine Learning, Deep Learning
近年,深層学習は非常に広い応用を見せています.深層学習の性能は,そこで用いられる深層ニューラルネットワークのアーキテクチャ(各部分で利用されるオペレーションや,ネットワークの接続状態など)に依存します.Neural Architecture Search (NAS) は,これまでの人手によるアーキテクチャ設計を,探索アルゴリズムによって自動化する AutoML(自動機械学習)の一分野です.
私達は,One-shot NASと呼ばれる,ネットワークのアーキテクチャとパラメータを一度の学習サイクルにおいて同時に最適化する枠組みの研究をしています.とりわけ,確率緩和と呼ばれる方法によるパラメータの連続空間への拡張と,連続化されたパラメータ空間上の推定勾配を用いたアーキテクチャ探索の方法に着目しています.アーキテクチャの探索に自然勾配を活用した方法[AAAI 2018]やその一般化と勾配ステップサイズの適応規則の提案[ICML 2019],強化学習において用いられている貢献度分配の考え方を導入することによる勾配推定分散の削減とそれによる探索高速化[AAAI 2021]などの成果があります.[IJCNN 2024]では,アーキテクチャの探索空間(候補となるアーキテクチャの空間)によっては勾配ベースのNASが不適切なアーキテクチャに収束してしまう脆弱性に着目し,候補アーキテクチャ間の中間出力の統計量の違いが原因の一因となり得ることを,理論解析および数値実験により示しています.
In recent years, deep learning has found extremely broad applications. The performance of deep learning models depends on the architecture of the deep neural network used, including the operations and connectivity between layers. Neural Architecture Search (NAS) is a subfield of AutoML (Automated Machine Learning) that automates the traditional, manual process of designing network architectures using search algorithms.
We are researching a framework called one-shot NAS, which simultaneously optimizes network architecture and parameters in a single training cycle. In particular, we are focusing on methods that use stochastic relaxation to extend parameters into a continuous space and then employ an estimated gradient to search this continuous space for the optimal architecture. Our research includes: a method that leverages natural gradients for architectural search [AAAI 2018], a generalization of this method with a proposed adaptive rule for the gradient step size [ICML 2019], and a way to reduce gradient estimation variance and accelerate the search by introducing a concept of credit assignment used in reinforcement learning [AAAI 2021]. In [IJCNN 2024], we focused on a vulnerability of gradient-based NAS where it can converge to an inappropriate architecture depending on the design of the search space. We used theoretical analysis and numerical experiments to show that one contributing factor is the statistical differences in the intermediate outputs between candidate architectures.
キーワード:深層学習,制約対処,進化計算Keywords: Deep Learning, Constraint Handling, Evolutionary Computation
シミュレーションベース最適化において,制約条件はしばしばペナルティ関数法やこれに準ずる方法がその汎用性や容易さから採用されています.私達の研究[GECCO 2019, ECJ 2022] においても,修正オペレータと適応的ペナルティ関数法に基づく制約対処法を提案しています.しかし,制約条件を満たす領域(実行可能領域)が探索空間全体に対して(測度の観点で)狭い複数の非連結な集合となっているような場合 [GECCO 2020] や,そもそも制約条件を明示的に表現することが難しいような場合 [GECCO 2021] には,これらの方法が有効でない場面が見受けられます.
私達は,このような場面を想定し,深層生成モデルを活用した制約付きシミュレーションベース最適化のための最適化フレームワークを設計しています.深層生成モデルは,何らかの潜在空間からデータ空間への写像を深層ニューラルネットワークを用いて表現します.私達の方法では,データ空間を制約を満たす実行可能領域,潜在空間を最適化法が探索する設計変数空間に対応付けます.このような深層生成モデルを最適化に先立って学習しておくことで,制約を満たした解を探索することが可能となります.
[GECCO 2020]では,制約条件を明示的に書き下すことが可能な問題を対象に,実行可能領域が非連結集合となる場合に,対応する潜在空間が連結集合になるように深層生成モデルを学習する方法を提案しています.[GECCO 2021]では,Angry Birds というビデオゲームのレベル(ステージ)生成問題を対象に,「プレイ可能であり自然なレベルである」という暗黙の制約条件を満たすように,この条件を満たしているであろう既存のレベルを訓練データとして深層生成モデルを学習する方法を提案しています.
In simulation-based optimization, penalty function methods and similar approaches are often used for handling constraints due to their versatility and simplicity. Our research in [GECCO 2019, ECJ 2022] also proposed a constraint-handling method based on a modification operator and an adaptive penalty function. However, these methods are not always effective, such as when the feasible region (the area that satisfies the constraints) consists of multiple disconnected subsets that are narrow in relation to the overall search space [GECCO 2020], or when the constraints are difficult to express explicitly [GECCO 2021].
To address these situations, we have designed an optimization framework for constrained simulation-based optimization that uses deep generative models. A deep generative model uses a deep neural network to learn a mapping from a latent space to a data space. Our method maps the data space to the constraint-satisfying feasible region and the latent space to the design variable space that the optimization algorithm explores. By pre-training such a deep generative model before optimization, it becomes possible to search for solutions that satisfy the constraints.
In [GECCO 2020], for problems with explicit constraints, we proposed a method to train a deep generative model so that the corresponding latent space is a connected set, even when the feasible region is a disconnected set. In [GECCO 2021], we tackled the problem of generating levels for the video game Angry Birds. We proposed a method for training a deep generative model using existing levels as training data, assuming they satisfy the implicit constraints of being "playable and natural levels."
キーワード:マルチフィデリティ最適化,進化計算Keywords: Multi-fidelity Optimization, Evolutionary Computation
シミュレーション精度の調整は,最適化に必要な時間と解の信頼性の間のトレードオフを定める重要な意思決定項目です.最適化困難さを度外視すれば,可能な限り自由度の高い設計変数表現を採用し,可能な限り高精度なシミュレータを用いることが望ましいのですが,高精度なシミュレータは往々にして計算時間も長くなり,限られた時間で実行できるシミュレーション回数が限られるなど,最適化が困難となる要因となります.
本研究では,CMA-ESが複数の解のランキングに基づいて探索することに着目し,精度の低く計算時間の短いシミュレータと,精度の高く計算時間の長いシミュレータを用いた場合に求まる目的関数値の順位相関が,十分に高ければ高速なシミュレータを採用,低ければより精度の高いシミュレータを採用するといった方法により,自動的にシミュレーション精度を選択する方法を開発しました.テスト問題を用いた数値実験により,開発した方法は,固定精度のシミュレータを採用した場合よりも精度と速度の両面において改善が見られることを確認しています[GECCO 2019].また,トポロジー最適化の一問題に提案手法を適用し,同様の効果を確認しています[PPSN 2020].本研究の成果により,必要な意思決定項目の自動化だけでなく,複数シミュレータが利用可能な場合に最適化効率の改善も見られるため,計算精度を比較的自由に調整が可能な,深層学習におけるハイパーパラメータ最適化などへの応用も期待されます.
また,これに関する理論的な分析も行っています.真に最適化したい目的関数と,実際に最適化法が計算する目的関数が異なる(代理関数と呼ぶ)シチュエーションは,上述のようなマルチフィデリティ設定に限らずしばしば見られます.代理関数を用いた場合,代理関数の最適化が真の目的関数の最適化に繋がらない恐れがあります.[Algorithmica 2024]では,代理関数を改善する方向に探索した場合に目的関数が改善されるための十分条件を理論的に導出しています.ケンドールおよびスピアマンの順位相関係数を用いた場合に,上述の条件を満たすために必要な相関係数の下限値を導くとともに,順位毎に与えられる重み係数のピアソン相関係数についても同様の下限値を導いています.後者の下限値の方が低い値を示していることから,上述の研究成果を改善できる可能性が示唆されており,これら手法のさらなる改善が期待されています.また,ワーストケース最適化(最悪ケース・リスク・二段階の最適化)などにおいても,真のワーストケース関数値は得られず,近似最適化によって得られた値を代理として用いていることから,これについての理論的妥当性の分析にもつながる可能性があります.
Adjusting simulation fidelity is a crucial decision-making process that determines the trade-off between the time required for optimization and the reliability of the solution. If we ignore optimization difficulties, it would be ideal to use the highest-fidelity simulator possible with the most flexible design variable representation. However, high-fidelity simulators often require significant computational time, limiting the number of simulations that can be run within a given timeframe and making optimization more difficult.
In this research, we developed a method that automatically selects simulation fidelity by focusing on the fact that CMA-ES explores solutions based on the ranking of multiple candidates. Our approach is to use a faster, lower-fidelity simulator if the rank correlation of objective function values is sufficiently high compared to a slower, high-fidelity one. If the rank correlation is low, we switch to the more accurate simulator. Numerical experiments on test problems have confirmed that our method improves both speed and accuracy compared to using a fixed-fidelity simulator [GECCO 2019]. We also applied this technique to a topology optimization problem and observed a similar positive effect [PPSN 2020]. This research not only automates a critical decision-making process but also improves optimization efficiency when multiple simulators are available. As a result, we expect it to be applied to fields like hyperparameter optimization for deep learning, where computational fidelity can be adjusted relatively freely.
We have also conducted a theoretical analysis related to this work. Situations where the true objective function to be optimized differs from the one actually computed by the optimization algorithm (often called a surrogate function) are common, not just in the multi-fidelity setting described above. In these cases, optimizing the surrogate function may not lead to the optimization of the true objective function. In [Algorithmica 2024], we theoretically derived the sufficient conditions for the objective function to be improved when the search is conducted in the direction that improves the surrogate function. We derived the minimum required rank correlation coefficient for these conditions to be met when using Kendall's and Spearman's rank correlation coefficients. We also derived a similar lower bound for the Pearson correlation coefficient with rank-based weighting. The fact that the latter lower bound is a smaller value suggests a potential for improving the methods mentioned above, and further enhancements to these techniques are expected. This work also has implications for analyzing the theoretical validity of worst-case optimization (see Worst-Case, Risk-Aware, and Bilevel Optimization), where an approximate value is used as a proxy for the true worst-case function value.