論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/3/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/探索ロボティクス
どこで学ぶか：オンポリシーロボット強化学習のための解析的方針勾配による指向的探索
微分可能な力学モデルからの解析的方針勾配を用いて、タスク認識かつ物理に基づくガイダンスを注入し、高報酬領域への探索を促進する新しい指向的探索手法を提案した。
原題: Where-to-Learn: Analytical Policy Gradient Directed Exploration for On-Policy Robotic Reinforcement Learning ／ Leixin Chang, Xinchen Yao, Ben Liu 他
日本語で読む → - 論文計画/強化学習ロボティクス
ハイブリッドLLM-シンボリック計画とLLM誘導強化学習による新規性適応
動的環境で新規オブジェクトに遭遇したロボットが、LLMの常識推論で欠落オペレータを特定し、シンボリックプランナーで計画を立て、LLMが報酬関数を設計して強化学習で制御ポリシーを学習する神経シンボリックアーキテクチャを提案。連続ロボット領域でのオペレータ発見と学習で最先端を上回る性能を示した。
原題: Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning ／ Hong Lu, Pierrick Lorang, Timothy R. Duggan 他
日本語で読む → - 論文強化学習ロボティクス
大規模報酬モデル：視覚言語モデルによる汎用的なオンラインロボット報酬生成
ロボット操作の強化学習において、視覚言語モデルをオンライン報酬生成器として活用し、模倣学習で初期化した方策を少数の反復で改善する枠組みを提案した。
原題: Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models ／ Yanru Wu, Weiduo Yuan, Ang Qi 他
日本語で読む → - 論文安全なオフライン強化学習機械学習
ハード制約を超えて：安全なオフライン強化学習のための予算条件付き到達可能性
累積コスト制約を扱う安全なオフライン強化学習の新しい手法を提案。安全条件付き到達可能性集合を定義し、不安定なmin/max最適化を避けつつ安全ポリシーを学習する。
原題: Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning ／ Janaka Chathuranga Brahmanage, Akshat Kumar
日本語で読む → - 論文強化学習ロボティクス
NFPO: 正規化フローによるロボットポリシー学習の安定化ポリシー最適化
ロボットの強化学習で、多峰性分布を表現できる正規化フローをポリシーとして用いる際の訓練不安定性を分析し、簡単な手法で安定化させて性能を向上させた。
原題: NFPO: Stabilized Policy Optimization of Normalizing Flow for Robotic Policy Learning ／ Diyuan Shi, Yiqi Tang, Zifeng Zhuang 他
日本語で読む → - 論文軌道生成/強化学習ロボティクス
キー付きドリフト場による軌道拡散の償却
拡散ベースの軌道プランナーをワンステップ推論で実現する手法を提案。条件付き生成における分布マッチングの失敗を分析し、条件を反映したキー空間での距離に基づくドリフト場を導入して、多様な軌道生成を可能にした。
原題: Amortizing Trajectory Diffusion with Keyed Drift Fields ／ Gokul Puthumanaillam, Melkior Ornik
日本語で読む → - 論文移動ロボット/地形推定/強化学習ロボティクス
多様な地形を走破する二輪差動ロボットの適応的ポリシー切替
月面溶岩洞窟の探査を想定し、ロボットの姿勢データから地形を推定して、地形に特化した制御ポリシーへ自動で切り替える手法を提案した。シミュレーションで平坦地と起伏地の判別精度が98%以上に達することを示した。
原題: Adaptive Policy Switching of Two-Wheeled Differential Robots for Traversing over Diverse Terrains ／ Haruki Izawa, Takeshi Takai, Shingo Kitano 他
日本語で読む → - 論文強化学習ロボティクス
解析的力学正則化による物理情報を活用した方策最適化
ロボット制御の強化学習に、シミュレータから得られる微分可能なラグランジュ残差を正則化項として導入し、物理的に一貫した方策学習を効率化する手法PIPERを提案した。
原題: Physics-Informed Policy Optimization via Analytic Dynamics Regularization ／ Namai Chandra, Liu Mohan, Zhihao Gu 他
日本語で読む → - 論文強化学習/形態制御協調設計機械学習
スタッケルベルグ近位方策最適化による効率的な形態・制御協調設計
ロボットの形態と制御方策を同時に最適化する問題をスタッケルベルグゲームとして定式化し、制御の適応ダイナミクスを明示的に組み込んだ新しいアルゴリズムを提案した。
原題: Efficient Morphology-Control Co-Design via Stackelberg Proximal Policy Optimization ／ Yanning Dai, Yuhui Wang, Dylan R. Ashley 他
日本語で読む → - 論文強化学習/ハイブリッド移動ロボティクス
階段状地形におけるハイブリッドロボットの省エネルギー空陸駆動学習
空中と地上の両方を移動できるハイブリッドロボットに対し、エネルギー消費を考慮した強化学習でプロペラ・車輪・チルトサーボを協調制御する単一ポリシーを学習し、シミュレーションと実機で省エネルギー効果を実証した論文。
原題: Learning Energy-Efficient Air--Ground Actuation for Hybrid Robots on Stair-Like Terrain ／ Jiaxing Li, Wen Tian, Xinhang Xu 他
日本語で読む → - 論文オフライン強化学習ロボティクス
後続遷移の再重み付けによる保守的オフラインロボット方策学習
ロボットのオフライン事後学習で、各サンプルの行動後の結果に基づいて学習への影響度を再重み付けする手法PTRを提案。不均一なデータセットでの保守的な適応を改善する。
原題: Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting ／ Wanpeng Zhang, Hao Luo, Sipeng Zheng 他
日本語で読む → - 論文強化学習ロボティクス
キーフレーム誘導型構造化報酬による長時間ホライズン実験室ロボティクスの強化学習
実験室自動化の長時間精密操作タスクに対し、デモからキーフレームを抽出し、拡散モデルで段階的目標を生成して幾何学的進捗報酬を構築し、オンライン強化学習を誘導するフレームワークを提案。4つの実タスクで平均成功率82%を達成した。
原題: Keyframe-Guided Structured Rewards for Reinforcement Learning in Long-Horizon Laboratory Robotics ／ Yibo Qiu, Shu'ang Sun, Haoliang Ye 他
日本語で読む → - 論文強化学習/飛行ロボットロボティクス
MAVEN: 動的変化に強いアジャイルクアッドローター操縦のためのメタ強化学習フレームワーク
クアッドローターの動的特性が大きく変わる状況でも単一のポリシーで頑健にナビゲーションできるよう、予測的コンテキストエンコーダを備えたメタ強化学習フレームワークMAVENを提案し、質量変化や単一ローター推力喪失下での適応性と実機へのゼロショット転送を実証した。
原題: MAVEN: A Meta-Reinforcement Learning Framework for Varying-Dynamics Expertise in Agile Quadrotor Maneuvers ／ Jin Zhou, Dongcheng Cao, Xian Wang 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
MA-VLCM: マルチエージェントチーム設定における方針価値推定のための視覚言語批評モデル
マルチエージェント強化学習において、学習済み視覚言語モデルを微調整して中央批評家として用いることで、方針学習中の批評家学習を不要にし、サンプル効率と汎化性を向上させるフレームワークを提案した。
原題: MA-VLCM: A Vision Language Critic Model for Value Estimation of Policies in Multi-Agent Team Settings ／ Shahil Shaik, Aditya Parameshwaran, Anshul Nayak 他
日本語で読む → - 論文強化学習機械学習
強化学習の解釈のための損失ランドスケープ可視化フレームワーク：ADHDPケーススタディ
強化学習の学習過程を可視化するフレームワークを提案し、ADHDPアルゴリズムを宇宙機の姿勢制御に適用して、損失曲面や状態TDマップなど4つの視点から学習ダイナミクスを解釈する。
原題: A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study ／ Jingyi Liu, Jian Guo, Eberhard Gill
日本語で読む → - 論文強化学習・計画ロボティクス
強化学習と動的計画法に基づく計画の関係
強化学習と計画の違いを整理し、非確率化した強化学習と価値反復法やダイクストラ法を比較して、コスト最小化と報酬最大化の等価条件などを解析した。
原題: Relating Reinforcement Learning to Dynamic Programming-Based Planning ／ Filip V. Georgiev, Kalle G. Timperi, Başak Sakçak 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
強化学習に基づく動的ルックアヘッド距離を用いた自動運転レース用ピュア・パースート
自動運転レースにおいて、古典的なピュア・パースート制御のルックアヘッド距離をPPO強化学習で動的に調整するハイブリッド制御手法を提案し、シミュレーションと実車で性能を検証した。
原題: Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing ／ Mohamed Elgouhary, Amr S. El-Wakeel
日本語で読む → - 論文強化学習機械学習
オンライン強化学習制御アルゴリズム解釈のためのCritic適合損失景観の可視化
オンライン強化学習のCriticネットワークの学習過程を低次元部分空間に射影して損失景観を可視化し、定量的指標で性能を比較する手法を提案。
原題: Visualizing Critic Match Loss Landscapes for Interpretation of Online Reinforcement Learning Control Algorithms ／ Jingyi Liu, Jian Guo, Eberhard Gill
日本語で読む → - 論文逆強化学習ロボティクス
逆強化学習による人間動作のグローバル意図推定に向けて
単一の統一コスト関数で人間の到達動作を説明・予測できるかを、逆強化学習を用いて検証し、時間変化するコスト重みが軌道再構成を大幅に改善することを示した論文。
原題: Toward Global Intent Inference for Human Motion by Inverse Reinforcement Learning ／ Sarmad Mehrdad, Maxime Sabbah, Vincent Bonnet 他
日本語で読む → - 論文強化学習ロボティクス
Rainbow-DemoRL: デモンストレーション強化強化学習の改良を組み合わせる
オフラインデータを活用したオンライン強化学習のサンプル効率向上手法を3分類し、各手法の組み合わせ効果を実証的に分析した論文。
原題: Rainbow-DemoRL: Combining Improvements in Demonstration-Augmented Reinforcement Learning ／ Dwait Bhatt, Shih-Chieh Chou, Nikolay Atanasov
日本語で読む → - 論文強化学習/操作ロボティクス
事前学習から熟達へ：分布収縮型強化学習による効率的なスキル習得
事前学習済みの生成ロボットポリシーを、分布収縮型強化学習（DICE-RL）で微調整し、高成功率の行動を増幅して高性能な「プロ」ポリシーへと進化させる手法を提案。シミュレーションと実機で高次元ピクセル入力からの複雑な長期的操作スキルの習得を実証した。
原題: From Prior to Pro: Efficient Skill Mastery via Distribution Contractive RL Finetuning ／ Zhanyi Sun, Shuran Song
日本語で読む → - 論文強化学習/動作模倣ロボティクス
反復動作模倣による自転車ロボットのフリップスタント
実現不可能な参照動作を反復的に模倣する手法(IMI)を提案し、自転車ロボット(UMV)で前転フリップを成功させた。
原題: Flip Stunts on Bicycle Robots using Iterative Motion Imitation ／ Jeonghwan Kim, Shamel Fahmi, Seungeun Rho 他
日本語で読む → - 論文強化学習ロボティクス
Hybrid TD3：ハイブリッド行動空間における過大評価バイアス分析と安定方策最適化
離散・連続が混在するハイブリッド行動空間に対応したTD3拡張手法を提案し、過大評価バイアスの理論解析と重み付きクリップQ学習により訓練安定性を向上させた。
原題: Hybrid TD3: Overestimation Bias Analysis and Stable Policy Optimization for Hybrid Action Space ／ Thanh-Tuan Tran, Thanh Nguyen Canh, Nak Young Chong 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
COIN: 協調と相互作用を考慮した自動運転のためのマルチエージェント強化学習
本論文は、自動運転のためのマルチエージェント強化学習フレームワークCOINを提案し、個別目標と協調目標を同時に最適化する新しいアルゴリズムと、局所・大域の相互作用を捉える批判者アーキテクチャを導入して、密集交通での安全性と効率を向上させた。
原題: COIN: Collaborative Interaction-Aware Multi-Agent Reinforcement Learning for Self-Driving Systems ／ Yifeng Zhang, Jieming Chen, Tingguang Zhou 他
日本語で読む → - 論文強化学習/操作ロボティクス
D-SPEAR: ロボット操作における安定強化学習のための二重ストリーム優先経験適応リプレイ
アクターとクリティカルのサンプリングを分離し、適応アンカー機構で優先度付きリプレイと一様リプレイを切り替えることで、ロボット操作タスクでの強化学習の安定性と性能を向上させる手法を提案した。
原題: D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation ／ Yu Zhang, Karl Mason
日本語で読む → - 論文強化学習機械学習
PPOのためのActor-Critic事前学習
強化学習PPOにおいて、Actorを模倣学習で、Criticを事前学習済み方策のロールアウトから得たリターンで初期化する手法を提案し、15のロボット操作・歩行タスクでサンプル効率を大幅に改善した。
原題: Actor-Critic Pretraining for Proximal Policy Optimization ／ Andreas Kernbach, Amr Elsheikh, Nicolas Grupp 他
日本語で読む → - 論文選好ベース強化学習機械学習
OPRIDE: データセット内探索によるオフライン選好ベース強化学習
オフライン選好ベース強化学習において、クエリ効率を高めるための探索戦略と割引スケジューリングを組み合わせた手法を提案し、少ないクエリで高性能を達成した。
原題: OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration ／ Yiqin Yang, Hao Hu, Yihuan Mao 他
日本語で読む → - 論文モデルベース強化学習機械学習
WIMLE: 不確実性を考慮した世界モデルによるサンプル効率の高い連続制御
IMLEを用いてマルチモーダルな世界モデルを学習し、予測不確実性で重み付けすることで、連続制御タスクのサンプル効率と性能を向上させたモデルベース強化学習手法。
原題: WIMLE: Uncertainty-Aware World Models with IMLE for Sample-Efficient Continuous Control ／ Mehran Aghabozorgi, Alireza Moazeni, Yanshu Zhang 他
日本語で読む → - 論文強化学習機械学習
潜在ダイナミクスによるモデルフリーの効率性とモデルベース表現の統合
モデルフリーの効率性とモデルベースの表現力を統合した強化学習アルゴリズムULDを提案し、多様な環境で高性能かつ少ないパラメータで動作することを示した。
原題: Unifying Model-Free Efficiency and Model-Based Representations via Latent Dynamics ／ Jashaswimalya Acharjee, Balaraman Ravindran
日本語で読む → - 論文マルチエージェント強化学習機械学習
共同状態行動埋め込みを用いたマルチエージェントモデルベース強化学習
部分観測環境で多数のエージェントを協調させるため、世界モデルと想像ロールアウトに共同状態行動埋め込み(SALE)を統合したモデルベースMARLフレームワークを提案し、StarCraft IIやMulti-Agent MuJoCoなどで性能向上を示した。
原題: Multi-Agent Model-Based Reinforcement Learning with Joint State-Action Learned Embeddings ／ Zhizun Wang, David Meger
日本語で読む →