論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/7/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/多目的最適化機械学習
ベイズ最適化を用いた省エネルギー強化学習のための高効率パレートフロントモデリング
強化学習の多目的最適化において、報酬関数の重み選択を多目的ベイズ最適化で自動化し、少ない評価回数で多様なトレードオフ解を発見する手法を提案・実証した。
原題: Sample-Efficient Pareto Front Modeling for Energy-Aware Reinforcement Learning Using Bayesian Optimization ／ Georg Schäfer, Jakob Rehrl, Stefan Huber 他
日本語で読む → - 論文継続的強化学習機械学習
較正部分リセット：継続的強化学習における方策崩壊の防止
ニューロンのリセットを部分的かつ有用性に応じて調整することで、継続的強化学習での方策崩壊を防ぎつつ可塑性を維持する手法を提案した。
原題: Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning ／ Luc McCutcheon, Evangelos Chatzaroulas, Saber Fallah
日本語で読む → - 論文安全強化学習ロボティクス
制御アフィン動力学近似を用いた証明可能な安全モデルベース強化学習
制御アフィン構造を考慮した残差モデル不確かさを学習し、適応共形予測で不確かさを定量化して制御バリア関数による安全保証を実現する強化学習フレームワークを提案した。
原題: Certifiable Safe Model-Based Reinforcement Learning with Control-Affine Dynamics Approximation ／ Hao Zhou, Yanze Zhang, Cameron Reid 他
日本語で読む → - 論文組立/LLM/強化学習ロボティクス
FORGE-plus: 凍結LLM監督による力予算を考慮した密着組立の回復
力条件付き強化学習による密着組立において、LLMが物体ごとの力上限を設定し、力の兆候に基づいて回復動作を選択する二層フレームワークを提案。シミュレーションで破損なしの挿入成功率と回復性能を実証した。
原題: FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor ／ Kyupaeck Jeff Rah, Midum Oh
日本語で読む → - 論文制御/強化学習機械学習
潜在記憶宮殿：制御のための推論を自己回帰変分推論として捉える
連続制御ポリシーに適応的な推論能力を持たせるため、自己回帰潜在空間での変分推論として推論を定式化し、潜在空間強化学習で変分下界を最適化する手法を提案した。
原題: Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference ／ Chuning Zhu, Eva Xu, Jose Barreiros 他
日本語で読む → - 論文強化学習/カリキュラム学習/LLMロボティクス
LEACL: LLM強化による長期的操作タスクの強化学習のための自動カリキュラム学習
大規模言語モデル(LLM)を用いて複雑なタスクをサブタスクに分解し、各サブタスクの仕様を自動生成することで、スパース報酬のみで強化学習を効率的に行う自動カリキュラム学習フレームワークを提案した。
原題: LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks ／ Faraz Heravi, James Ouyang, Zifan Xu 他
日本語で読む → - 論文安全強化学習機械学習
物理情報ニューラルネットワークによる1自由度ヘリコプタシステムの安全強化学習の統合
強化学習の探索による安全性違反を防ぐため、物理モデルをPPOの損失関数に組み込み、将来の軌道予測に基づくペナルティで制約違反を減らす手法を提案した。
原題: Integrating Physics-Informed Neural Networks for Safe Reinforcement Learning in a 1-DoF Helicopter System ／ Georg Schäfer, Jakob Rehrl, Stefan Huber
日本語で読む → - 論文強化学習/操作ロボティクス
HALO-WA: ハイブリッド注意機構と潜在変数ガイドによるオンライン強化学習を用いた世界行動モデル
世界行動モデルによる精密操作の失敗を、潜在特徴と行動事前分布を利用した軽量なアクタークリティック適応器とハイブリッド注意機構でオンライン修正する手法を提案し、実機4タスクで成功率を大幅に向上させた。
原題: HALO-WA: Hybrid-Attention Latent-Guided Online Reinforcement Learning for World-Action Models ／ Angen Ye, Weijie Ke, Xiaofeng Wang 他
日本語で読む → - 論文ロコ操作/触覚/強化学習ロボティクス
TAC-LOCO: 触覚情報を活用した四足ロボットの全身ロコ操作の統合制御
四足ロボットの動的ロコ操作において、触覚センサからの情報を潜空間表現に圧縮し、脚・腕・グリッパの統合制御に組み込む強化学習フレームワークを提案。実機でゼロショット展開し、把持力の低減と物体落下率の抑制を実証した。
原題: TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation ／ Muqun Hu, Yuhao Zhou, Kabir Ray Malik 他
日本語で読む → - 論文強化学習ロボティクス
fNIRS誘導強化学習によるロボット行動のオフライン学習手法
脳血流信号（fNIRS）を用いてロボットの強化学習を調整する手法を提案し、オフラインデータでも学習が可能であることを示した。
原題: An offline approach to fNIRS-guided reinforcement learning for robot behavior ／ Julia Santaniello, Madelaine Brower, Benson Jiang 他
日本語で読む → - 論文強化学習/ナビゲーションロボティクス
動的障害物環境での安全飛行のための予測リスク誘導強化学習
クアッドローターの動的環境での安全航行のため、将来の衝突リスクを予測するリスクマップを強化学習で自己予測させ、視覚ポリシーを誘導する手法を提案。シミュレーションから実機へのゼロショット転送に成功。
原題: Anticipatory Risk-Guided Reinforcement Learning for Safe Flight Through Dynamic Clutter ／ Yuchao Mei, Guohao Zhang, Luxia Ai 他
日本語で読む → - 論文強化学習/脚式ロボットロボティクス
WARL: 脚式ロボットのタスク非依存学習のためのレンチ拡張強化学習
脚式ロボットの強化学習において、関節空間に限定されていた行動空間に力とトルク（レンチ）を導入し、探索能力を拡張する新しい手法WARLを提案した。成功率ベースのカリキュラム機構と組み合わせ、最終的には関節制御のみで多様な地形やモータータスクをロバストに学習できることを示した。
原題: WARL: Wrench-Augmented Reinforcement Learning for Task-Agnostic Learning in Legged Robots ／ Keita Yoneda, Kento Kawaharazuka, Kei Okada
日本語で読む → - 論文強化学習AI
海洋監視における異種センサ選択のための強化学習
船舶追跡のための異種センサネットワークにおいて、強化学習を用いて各時刻に最適なセンサを選択する手法を提案した。
原題: Reinforcement Learning for Heterogeneous Sensor Selection in Maritime Surveillance ／ Andrei Starodubov, Yaqub Aris Prabowo, Andreas Hadjipieris 他
日本語で読む → - 論文強化学習機械学習
状態認識型探索を備えたデュアルフロー強化学習
連続制御タスクにおいて、報酬分布と方策分布をフローマッチングで同時にモデル化し、多峰性の探索を改善する新しいアクタークリティック手法を提案した。
原題: Dual-Flow Reinforcement Learning with State-Aware Exploration ／ Qijun Li, Zheng Fu, Qi Song 他
日本語で読む → - 論文強化学習機械学習
万能解を超えて：オフライン事前知識を用いた診断駆動型オンライン強化学習
オフライン事前知識の活用が強化学習に不可欠となる一方、その有効性は環境や学習過程で変化するため、単一の管理手法は最適でないと主張し、展開固有の証拠に基づく診断駆動型の緊張管理への転換を提案する論文。
原題: Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors ／ Guozheng Ma, Lu Li, Zilin Wang 他
日本語で読む → - 論文強化学習機械学習
ベルマン方程式の逆転：Q値から世界モデルへ
価値ベースの強化学習エージェントが十分な報酬関数で訓練されると、暗黙的に環境の遷移モデルを符号化することを証明し、そのモデルを抽出するP学習を提案した。
原題: Inverting the Bellman Equation: From $Q$-Values to World Models ／ Alistair Letcher, Mattie Fellows, Alexander D. Goldie 他
日本語で読む → - 論文強化学習/探索機械学習
報酬なし事前学習：占有被覆最大化による強化学習
報酬が疎な環境で、報酬を使わずに探索ポリシーを事前学習し、下流タスクで迅速に適応する手法ROVERを提案。占有度のエントロピー最大化と仮想シンク状態で探索を促進する。
原題: Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization ／ Marco Pratticò, Pietro Novelli, Massimiliano Pontil 他
日本語で読む → - 論文強化学習AI
報酬をエージェントとして捉える身体化ワールドモデルの学習
身体化ワールドモデルにおいて、報酬をエージェントとして能動的に評価する枠組みと、動的差分に基づく探索多様化手法を導入し、報酬ハッキングを抑えつつ多様な行動生成を可能にする強化学習手法を提案した。
原題: Reward as An Agent for Embodied World Models ／ Pu Li, Zhigang Lin, Qiang Wu 他
日本語で読む → - 論文メタ強化学習AI
メタ強化学習における知識再利用フレームワーク
メタ強化学習で、単純化したエージェントで学習したタスク知識を異なる形態のエージェントに転移するフレームワークを提案し、追従誤差を大幅削減しデータ効率を向上させた。
原題: Knowledge Reutilization in Meta-Reinforcement Learning ／ Yuan Meng, Bo Wang, Juan de los Rios Ruiz 他
日本語で読む → - 論文シミュレーション/強化学習画像認識
食品破壊シミュレーションにおける逆材料推定のための潜在空間強化学習
食品の破壊挙動から材料パラメータを推定する逆問題を、強化学習を用いて解く手法を提案。オレンジの皮むきを例に、目標条件付きポリシーが単一の順伝播で材料推定を行い、CMA-ESによる改良と組み合わせることで高精度な推定を実現した。
原題: Latent Space Reinforcement Learning for Inverse Material Estimation in Food Fracture Simulation ／ Adrian Ramlal, Yuhao Chen, John S. Zelek
日本語で読む → - 論文ヒューマノイド操作/VLA/強化学習ロボティクス
ROVE: 強化学習によるヒューマノイド操作のための人間介入の活用
不完全な人間介入データを用いてヒューマノイドVLAモデルを強化学習で訓練するフレームワークROVEを提案。楽観的価値推定とクロスエンボディ映像を活用し、高価値な行動を優先学習することで実世界の接触を伴う操作タスクで性能を向上させた。
原題: ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning ／ Wei Xiao, Weiliang Tang, Yuying Ge 他
日本語で読む → - 論文強化学習機械学習
方向条件付きポリシー：構成部分ゴールスコアリングによるオンライン目標条件付き強化学習
目標までの距離の勾配のみに依存する方向条件付きポリシーを提案し、オンライン目標条件付き強化学習の性能を向上させた。
原題: Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning ／ Swaminathan S K, Damiya Gondha, Theyanesh Eswaramoorthy Rajahkrishnan 他
日本語で読む → - 論文モデルベース強化学習機械学習
BRICKS-WM: インターフェース合成力学による構造化世界モデルの再利用性構築
モデルベース強化学習において、環境ダイナミクスをエージェントと背景のモジュールに分離し、学習済み背景モジュールを再利用可能にする構造化世界モデルフレームワークを提案した。
原題: BRICKS-WM: Building Reusability via Interface Composition Kinetics for Structured World Models ／ Shaowei Zhang, Jiahan Cao, Xunlan Zhou 他
日本語で読む → - 論文強化学習機械学習
大規模並列オン方策強化学習のための信頼領域拡散ポリシー
大規模並列シミュレーションを用いたオン方策強化学習で拡散ポリシーを安定して訓練する手法TruDiを提案し、多様なベンチマークで性能を実証した。
原題: Trust-Region Diffusion Policies for Massively Parallel On-Policy RL ／ Huy Le, Onur Celik, Denis Blessing 他
日本語で読む → - 論文強化学習/計画AI
因果オブジェクト中心モデルによるモンテカルロ木探索計画
オブジェクト中心表現と因果注意を組み合わせたモデルベース強化学習アルゴリズムCOMETを提案し、複数のベンチマークで初期学習性能を向上させた。
原題: Causal Object-Centric Models for Planning with Monte Carlo Tree Search ／ Rodion Vakhitov, Leonid Ugadiarov, Alexey Skrynnik 他
日本語で読む → - 論文安全強化学習機械学習
証明可能な安全性を備えつつスケーラブルな強化学習
安全な強化学習において、学習したバックアップポリシーを用いて暗黙的な制御不変集合を生成し、微分可能な射影層で安全性を厳密に保証する2段階フレームワークPS2-RLを提案した。
原題: Provably Safe, Yet Scalable Reinforcement Learning ／ Kai S. Yun, Zeyang Li, Navid Azizan
日本語で読む → - 論文強化学習/組み込みシステム制御
TetraRL: オンデバイス深層強化学習システムのための自己適応型ランタイム
本論文は、リソース制約のある組み込みデバイス上でDRLを実行する際に、リアルタイム性、報酬、メモリ、エネルギーという4つの目的を動的にバランスする自己適応型ランタイムフレームワークTetraRLを提案する。
原題: TetraRL: A Self-Adaptive Runtime for On-Device Deep Reinforcement Learning Systems ／ Zexin Li, Soheil Shirvani, Cong Liu
日本語で読む → - 論文強化学習/拡散ポリシー機械学習
QPILOTS: フローポリシーのための効率的なテスト時Qステアリング
フローマッチングや拡散ポリシーを強化学習で最適化する際、推論時にノイズ除去プロセスをQ値の勾配で操縦する手法QPILOTSを提案し、オフラインからオンラインへのRLベンチマークで高い成功率を達成した。
原題: QPILOTS: Efficient Test-Time Q-Steering for Flow Policies ／ Yifan Ruan, Chenyang Cao, Andreas Burger 他
日本語で読む → - 論文強化学習機械学習
PAWS: アドバンテージ重み付きセグメントを用いた選好学習
人間の軌道比較から報酬を学習する選好ベース強化学習において、訓練と推論の不一致による分布シフトを分析し、セグメントレベルのアドバンテージ関数を直接用いた政策更新手法PAWSを提案した。ロボット操作・移動タスクで既存手法を上回る性能を示した。
原題: PAWS: Preference Learning with Advantage-Weighted Segments ／ Aleksandar Taranovic, Onur Celik, Niklas Freymuth 他
日本語で読む → - 論文強化学習ロボティクス
UniIntervene: 実世界強化学習の効率化のためのエージェント介入
人間参加型強化学習における介入コストを削減するため、非生産的な探索を検知し自律的に回復行動を生成するエージェント介入モデルUniInterveneを提案した。
原題: UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning ／ Haoyuan Deng, Yitong Gao, Yudong Lin 他
日本語で読む →