論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/2/10 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文エージェント強化学習AI
エージェント世界モデル：エージェント強化学習のための無限合成環境
LLMエージェントの強化学習用に、コード駆動でデータベースに裏打ちされた1000の合成環境を自動生成するパイプラインを提案し、ベンチマーク外への汎化性能を実証した。
原題: Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning ／ Zhaoyang Wang, Canwen Xu, Boyi Liu 他
日本語で読む → - 論文モデルベース強化学習機械学習
楽観的ワールドモデル：モデルベース深層強化学習における効率的探索
モデル学習に楽観的なダイナミクス損失を組み込み、報酬の高い遷移を優先する探索手法を提案。DreamerV3やSTORMに適用し、サンプル効率と累積報酬を改善。
原題: Optimistic World Models: Efficient Exploration in Model-Based Deep Reinforcement Learning ／ Akshay Mete, Shahid Aamir Sheikh, Tzu-Hsiang Lin 他
日本語で読む → - 論文制約付き強化学習機械学習
制約付き強化学習のための確率的決定ホライズン
制約違反がホライズンを短縮する確率的決定ホライズン(SDH)を提案し、制約付きRLのオフポリシーかつ正則化アルゴリズムを開発した。
原題: Stochastic Decision Horizons for Constrained Reinforcement Learning ／ Nikola Milosevic, Leonard Franz, Daniel Haeufle 他
日本語で読む → - 論文モデルベース強化学習機械学習
再パラメータ化フローポリシー最適化
フローポリシーをモデルベース強化学習に組み込み、生成過程とダイナミクスをまとめて誤差逆伝播することで、高いサンプル効率と安定性を実現した手法を提案。
原題: Reparameterization Flow Policy Optimization ／ Hai Zhong, Zhuoran Li, Xun Wang 他
日本語で読む → - 論文強化学習機械学習
選択モデル支援Q学習による遅延フィードバック収益管理
遅延フィードバックのある収益管理において、較正済み離散選択モデルを部分的世界モデルとして用いて学習目標の遅延成分を補完するQ学習を提案し、理論的収束保証とホテル予約データに基づく実験で有効性と限界を示した。
原題: Choice-Model-Assisted Q-learning for Delayed-Feedback Revenue Management ／ Owen Shen, Patrick Jaillet
日本語で読む → - 論文ゼロショット強化学習機械学習
ゼロショットオフポリシー学習
後継測度と定常密度比の理論的関連を利用し、報酬なしデータで訓練したエージェントがテスト時に追加学習なしで新タスクに適応できるゼロショット強化学習手法を提案。
原題: Zero-Shot Off-Policy Learning ／ Arip Asadulaev, Maksim Bobrin, Salem Lahlou 他
日本語で読む → - 論文強化学習機械学習
階層的ニューラルオプションと抽象世界モデルの同時学習
抽象世界モデルと階層的ニューラルオプションを同時に学習するAgentOWLを提案し、少ないデータでより多くのスキルを獲得できることを示した。
原題: Joint Learning of Hierarchical Neural Options and Abstract World Model ／ Wasu Top Piriyakulkij, Wolfgang Lehrach, Kevin Ellis 他
日本語で読む → - 論文強化学習/ナビゲーションロボティクス
ManeuverNet: ダブルアクカーマン操舵ロボットの精密操縦のための報酬関数最適化を伴うSoft Actor-Criticフレームワーク
農業向けダブルアクカーマン操舵ロボットの精密操縦のため、Soft Actor-CriticとCrossQを組み合わせた深層強化学習フレームワークを提案し、4つの専用報酬関数で専門家データなしに学習を実現した。
原題: ManeuverNet: A Soft Actor-Critic Framework for Precise Maneuvering of Double-Ackermann-Steering Robots with Optimized Reward Functions ／ Kohio Deflesselle, Mélodie Daniel, Aly Magassouba 他
日本語で読む → - 論文強化学習機械学習
空間平滑化による価値学習
オフライン目標条件付き強化学習において、距離的制約を局所空間測度の期待値として再解釈し、微分演算子を必要とせずに構造化された価値表現を学習する手法を提案。
原題: Mollified Value Learning ／ Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari 他
日本語で読む → - 論文強化学習機械学習
PolicyFlow: 連続正規化フローを用いた強化学習のための方策最適化
PPOに連続正規化フロー(CNF)方策を組み込み、全軌道の尤度評価を避けて速度場の変化で重要度比を近似する新手法を提案し、多様な環境で有効性を示した。
原題: PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning ／ Shunpeng Yang, Ben Liu, Hua Chen
日本語で読む → - 論文宇宙ロボティクス/強化学習機械学習
LEOにおける複数デブリ除去ミッションの最適計画：共楕円遷移と燃料補給を考慮した深層強化学習アプローチ
低軌道での複数デブリ除去ミッションにおいて、共楕円マヌーバと燃料補給を組み込んだ枠組みを提案し、Masked PPOによる強化学習が貪欲法やMCTSより効率的に多くのデブリを訪問できることを示した。
原題: Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling ／ Agni Bandyopadhyay, Gunther Waxenegger-Wilfing
日本語で読む → - 論文医療ロボティクス/強化学習ロボティクス
オンライン専門家補正を用いたサンプル効率の良い血管分岐ナビゲーションのための自律カテーテル操作
血管内分岐ナビゲーションにおいて、オンライン専門家補正とファジィ制御・構造化報酬を組み合わせた強化学習フレームワークを提案し、少ない訓練エピソードで高精度な自律カテーテル操作を実現した。
原題: Sample-Efficient Learning with Online Expert Correction for Autonomous Catheter Steering in Endovascular Bifurcation Navigation ／ Hao Wang, Tianliang Yao, Bo Lu 他
日本語で読む → - 論文軌道ロボティクス/強化学習AI
強化学習による多数デブリランデブー計画の最適化：燃料補給と適応的衝突回避の統合
小型衛星による複数デブリ除去のため、燃料補給と適応的衝突回避を組み込んだマスク付きPPO強化学習でランデブー順序と軌道を最適化する枠組みを提案した。
原題: Optimizing Mission Planning for Multi-Debris Rendezvous Using Reinforcement Learning with Refueling and Adaptive Collision Avoidance ／ Agni Bandyopadhyay, Gunther Waxenegger-Wilfing
日本語で読む → - 論文階層強化学習AI
後知恵経験再生によるスパース報酬下でのオプション学習の実現
スパース報酬の多目標環境で階層強化学習のオプション学習を可能にするため、後知恵経験再生(HER)を統合し、さらに物体操作向けに二重目標HER(2HER)を提案した論文。
原題: Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay ／ Gabriel Romio, Mateus Begnini Melchiades, Bruno Castro da Silva 他
日本語で読む → - 論文歩行/リハビリ/強化学習ロボティクス
片側筋力低下による歩行非対称性と足関節アシストによる改善：強化学習に基づくシミュレーション研究
強化学習と筋骨格シミュレーションを用いて、片脚の筋力低下が歩行の非対称性をどの程度引き起こすかを定量化し、足関節外骨格によるアシストが非対称性を改善できるかを検証した。
原題: Gait Asymmetry from Unilateral Weakness and Improvement With Ankle Assistance: a Reinforcement Learning based Simulation Study ／ Yifei Yuan, Ghaith Androwis, Xianlian Zhou
日本語で読む → - 論文強化学習/世界モデルロボティクス
効率的な一次強化学習のための局所・大域世界モデルの結合
大規模拡散モデルによる世界モデル内で強化学習を行い、軽量な潜在空間サロゲートで勾配計算を効率化する一次勾配法を提案。Push-Tタスクや四足歩行ロボットの物体操作でPPOを上回るサンプル効率を実現。
原題: Coupled Local and Global World Models for Efficient First Order RL ／ Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard 他
日本語で読む → - 論文逆強化学習ロボティクス
オンライン世界モデリングによる観察からの実世界逆強化学習
オンライン世界モデルを用いて、実世界のロボットが観察（動画）のみから視覚的マニピュレーションを逆強化学習で学習する手法を提案し、ピックアンドプレースを40分未満で82%の成功率まで達成した。
原題: Online World Modeling Enables Real-World Inverse Reinforcement Learning from Observation ／ Tyler Han, Bat Nemekhbold, Siyang Shen 他
日本語で読む → - 論文強化学習ロボティクス
実機ロボットのオンライン強化学習で重要な設計選択とは何か
3種類のロボットで100回の実機学習を行い、アルゴリズムやシステム、実験設計の各選択を系統的に検証し、安定した学習を実現する設計指針を明らかにした。
原題: What Matters for Simulation to Online Reinforcement Learning on Real Robots ／ Yarden As, Dhruva Tirumala, René Zurbrügg 他
日本語で読む → - 論文組立/強化学習ロボティクス
設計図なしで安定構造物を自律組立するロボットの学習
強化学習により、事前設計図に頼らず目標と障害物だけから安定したブロック構造物を組み立てる自律ロボット組立フレームワークを提案し、実機実験で有効性を示した。
原題: Learning to Build: Autonomous Robotic Assembly of Stable Structures Without Predefined Plans ／ Jingwen Wang, Johannes Kirschner, Paul Rolland 他
日本語で読む → - 論文強化学習/移動ロボティクス
位相認識型方策学習による四足ロボットのスケートボード乗り
スケートボードの位相に応じて特徴変調層を切り替える強化学習で、四足ロボットがスケートボードを安定して操る方策を学習した。
原題: Phase-Aware Policy Learning for Skateboard Riding of Quadruped Robots via Feature-wise Linear Modulation ／ Minsung Yoon, Jeil Jeong, Sung-Eui Yoon
日本語で読む → - 論文強化学習ロボティクス
戦術的リソース制御と後続機動生成のための時間的行動表現学習
リソース使用と機動の因果関係を対比学習で捉え、離散コードブックで政策を条件付けるTARTを提案。迷路ナビと空戦シミュレータで有効性を示す。
原題: Temporal Action Representation Learning for Tactical Resource Control and Subsequent Maneuver Generation ／ Hoseong Jung, Sungil Son, Daesol Cho 他
日本語で読む → - 論文強化学習セキュリティcs.CR
信頼できないシミュレータに注意：強化学習における報酬なしバックドア攻撃
シミュレータのダイナミクスを改ざんして、報酬を操作せずに強化学習エージェントに行動レベルのバックドアを仕込み、特定のトリガーで危険な行動を引き起こす攻撃手法「Daze」を提案し、実機ロボットへの転移も示した。
原題: Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning ／ Ethan Rathbun, Wo Wei Lin, Alina Oprea 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
ベクトル意味表現と記号推論による人間中心の自動緊急ブレーキのための強化学習強化
自動運転の緊急ブレーキにおいて、意味・空間・形状情報を統合したニューロシンボリック特徴表現と、ソフト一階論理による報酬関数を提案し、安全性と政策の堅牢性を向上させた。
原題: Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking ／ Vinal Asodia, Iman Sharifi, Saber Fallah
日本語で読む → - 論文強化学習/故障復旧機械学習
小脳に着想を得た残差制御による故障復旧：推論時適応から構造的定着まで
凍結した強化学習方策に小脳模倣のオンライン残差補正を加え、再学習なしで故障復旧を実現する枠組みを提案し、MuJoCoで最大66%の性能改善を示した。
原題: Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation ／ Nethmi Jayasinghe, Diana Gontero, Spencer T. Brown 他
日本語で読む → - 論文オフライン強化学習機械学習
局所ダイナミクス適応によるオフダイナミクスオフライン強化学習
ソースとターゲットの遷移をクラスタリングし、クラスタ単位でダイナミクス不一致を評価してソースデータを選択する手法を提案し、オフダイナミクスオフラインRLの性能を向上させた。
原題: Localized Dynamics-Aware Domain Adaption for Off-Dynamics Offline Reinforcement Learning ／ Zhangjie Xia, Yu Yang, Pan Xu
日本語で読む → - 論文強化学習/ドローンレースロボティクス
ランダム障害物を伴うクアッドロータレースのためのカリキュラム強化学習
視覚ベースのカリキュラム強化学習で、障害物のあるドローンレースにおいて高速かつ堅牢に飛行する制御器を訓練した研究。
原題: Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles ／ Fangyu Sun, Fanxing Li, Yu Hu 他
日本語で読む → - 論文強化学習機械学習
因果的報酬整形による交絡に頑健な連続制御
オフラインデータから因果的ベルマン方程式を用いて報酬整形関数を自動学習し、未観測の交絡因子があっても連続制御タスクで安定した性能を実現する手法を提案。
原題: Confounding Robust Continuous Control via Automatic Reward Shaping ／ Mateo Juliani, Mingxuan Li, Elias Bareinboim
日本語で読む → - 論文医療ロボティクス/強化学習ロボティクス
階層型モジュラー・マルチエージェント強化学習による機械的血栓回収術のAI自律ナビゲーション
大腿動脈から内頸動脈までのカテーテルとガイドワイヤの二デバイス操作を、階層型モジュラー・マルチエージェント強化学習で自律化し、in silicoおよびin vitroで有効性を実証した研究。
原題: Toward AI Autonomous Navigation for Mechanical Thrombectomy using Hierarchical Modular Multi-agent Reinforcement Learning (HM-MARL) ／ Harry Robertshaw, Nikola Fischer, Lennart Karstensen 他
日本語で読む → - 論文強化学習/制御ロボティクス
アクションジャコビアンペナルティで滑らかな時変線形方策を学習
アクションの時間変化を自動微分で罰則化するアクションジャコビアンペナルティと、計算負荷を抑える線形方策ネットワークを提案し、滑らかな制御信号を生成する方策を学習する。
原題: Learning Smooth Time-Varying Linear Policies with an Action Jacobian Penalty ／ Zhaoming Xie, Kevin Karol, Jessica Hodgins
日本語で読む → - 論文階層型強化学習機械学習
エンティティ中心の階層型強化学習と因子分解サブゴール拡散
複数エンティティ環境での長期目標タスクに対し、価値ベースのGCRLエージェントと因子分解サブゴール生成拡散モデルを組み合わせた階層型オフライン強化学習手法を提案し、疎報酬の画像ベース長期タスクで成功率を大幅に向上させた。
原題: Hierarchical Entity-centric Reinforcement Learning with Factored Subgoal Diffusion ／ Dan Haramati, Carl Qi, Tal Daniel 他
日本語で読む →