大規模言語モデルを人の好みや安全性の要求に合わせる,人の選好からの強化学習(RLHF)とアラインメントの方法を研究しています.人の評価や選好データもまたブラックボックスであり,制約を守りながら選好に合わせる方法や,選好データの偏りや攻撃に対する弱さを分析しています.We study reinforcement learning from human feedback (RLHF) and alignment methods that make large language models follow human preferences and safety requirements. Human evaluations and preference data are also black boxes; we work on aligning models to preferences while respecting constraints, and on analyzing their vulnerability to biases and attacks in preference data.
キーワード:強化学習,大規模言語モデル,アラインメント,RLHFKeywords: Reinforcement Learning, Large Language Models, Alignment, RLHF
大規模言語モデル(LLM)を人の価値観や好みに沿うように調整するアラインメントでは,人や AI が 2 つの応答のどちらが良いかを判定した選好データを用いて,RLHF(人のフィードバックからの強化学習)や DPO などの方法でモデルを学習します.学習する側から見ると,選好を与える評価者はブラックボックスであり,その判断の偏りや誤り,さらには意図的な改ざんが学習の結果を左右します.私達は,有用性と安全性を両立するアラインメントの方法と,選好データに起因する弱点の分析に取り組んでいます.
[NeurIPS 2023 Workshop] では,LLM に選好を判定させる場合に,人に比べて長い応答を好む冗長性バイアス(verbosity bias)があることを示し,このバイアスを測る指標を提案しました.[NeurIPS 2024] では,有用性(報酬)を最大化しつつ安全性を制約の範囲内に保つ制約付き最適化としてアラインメントを定式化し,DPO などの方法を用いて 1 つの指標ずつ段階的にアラインメントする SACPO を提案しました.報酬についてアラインメントしたモデルから,報酬と安全性を両立する最適な方策が導けることを理論的に示し,準最適性と安全性の制約違反の上界を与えています.Alpaca-7B のファインチューニングで,有用性と無害性の両面で代表的な従来手法を上回りました.[AAAI 2026] では,選好ラベルの反転によるデータ汚染(ポイズニング)攻撃を扱い,モデルを攻撃者の目標に誘導するために必要な最小のラベル反転数を,線形制約をもつ凸最適化問題として定式化して,その下界と上界を導出しました.既存の攻撃に後処理として適用すると,同じ効果を保ったまま反転数を大きく減らせることを示しており,RLHF や DPO の弱点を明らかにするとともに,その頑健性を評価する手段を与えています.
In the alignment of large language models (LLMs) with human values and preferences, models are trained by methods such as RLHF (reinforcement learning from human feedback) and DPO, using preference data in which humans or AI judge which of two responses is better. From the learner's point of view, the evaluator providing preferences is a black box, and its biases, errors, and even deliberate manipulation affect the outcome of learning. We work on alignment methods that achieve both helpfulness and safety, and on analyzing weaknesses arising from preference data.
In [NeurIPS 2023 Workshop], we showed that LLMs used to label preferences favor longer responses more than humans do (verbosity bias), and proposed a metric to measure this bias. In [NeurIPS 2024], we formulated alignment as constrained optimization that maximizes helpfulness (reward) while keeping safety within a limit, and proposed SACPO, which aligns a model step by step, one metric at a time, using methods such as DPO. We showed theoretically that the optimal policy balancing reward and safety can be derived from a model aligned for reward, and gave upper bounds on suboptimality and safety constraint violation. In fine-tuning Alpaca-7B, SACPO outperformed a leading prior method in both helpfulness and harmlessness. In [AAAI 2026], we studied data poisoning attacks that flip preference labels, formulated the minimum number of label flips needed to steer the model toward an attacker's target as a convex optimization problem with linear constraints, and derived its lower and upper bounds. Applied as post-processing to existing attacks, our method greatly reduces the number of flips while keeping the same effect, which reveals weaknesses of RLHF and DPO and provides a way to evaluate their robustness.