論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/10/29 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/記憶AI
情報価値で記憶検索と観測への信用割当を同時に解決
学習済み世界モデルと過去のロールアウトから「情報価値」を推定し、記憶検索の最適化と観測への信用割当を一つの量で扱う手法を提案した。
原題: Cheap Retrieval and Observation Credit Assignment from One Quantity: The Value of Information ／ Daniel Strauss, Nikolaos Sotirakis, Zhenshan Bing 他
日本語で読む → - 論文強化学習/報酬設計ロボティクス
進捗関係からロボットの報酬を学習するEvent2Reward
実ロボットの成功・失敗・非最適実行データから、軌跡内の局所的な進捗関係を活用して密な報酬を学習する手法を提案し、方策成功率を大幅に向上させた。
原題: Event2Reward: Learning Robotic Rewards from Progress Relations ／ Junnan Nie, Zitian Fan, Jiachen Zhang 他
日本語で読む → - 論文オフロードナビゲーション/階層型計画制御/MPPI/強化学習ロボティクス
価値関数誘導MPPIによるオフロード自律ナビゲーションの階層型計画・制御
強化学習コントローラの価値関数を暗黙的なコストとしてMPPIプランナに組み込み、計画と制御を双方向に連携させる階層型フレームワークを提案。オンライン方策評価で分布シフトに適応し、オフロード走行シミュレータで有効性を示した。
原題: Value Function-Guided MPPI for Hierarchical Planning and Control in Off-Road Autonomous Navigation ／ Anoushka Alavilli, Raymond Song, Guanya Shi 他
日本語で読む → - 論文強化学習機械学習
幾何的時間スコア推定器：自己予測表現と生成的占有モデルを橋渡しする強化学習手法
確率経路上で占有密度推定器を学習することで自己予測表現と生成的占有モデルを統合し、目標条件付き強化学習の性能を2〜6倍向上させた研究。
原題: Geometric Time Score Estimators: Bridging Self-Predictive Representations and Generative Occupancy Models For Reinforcement Learning ／ Aravind Venugopal, Grace Liu, Jeff Schneider 他
日本語で読む → - 論文マルチエージェント強化学習AI
GARDEN: 証拠ナビゲーションによる汎用自律報酬設計
LLMが環境コードや訓練記録を調査して報酬プログラムを設計し、未見の協調マルチエージェント環境へそのまま転移できる汎用的な報酬設計手法を提案した論文。
原題: GARDEN: Generalist Autonomous Reward Design Through Evidence Navigation for Cooperative Multi-Agent Reinforcement Learning ／ Dogan Urgun
日本語で読む → - 論文強化学習機械学習
相対的行動クレジット学習による局所解脱出
PPOに行動条件付き価値評価を追加し、同一状態での代替行動と比較することで、接触の多い長期的タスクにおける局所解の停滞を脱出する手法を提案した。
原題: Learning from Relative Action Credit for Escaping Local Minima ／ Giovanni Minelli, Giulio Turrisi, Lorenzo Amatucci 他
日本語で読む → - 論文外骨格/強化学習ロボティクス
代謝エネルギー削減のための協調適応型股関節外骨格制御のマルチエージェント強化学習
筋骨格人体モデルと股関節外骨格方策を代謝報酬で同時学習させ、個別調整なしで新規ユーザーの歩行代謝コストを削減できることを実機で示した研究。
原題: Multi-Agent Reinforcement Learning of Co-Adaptive Hip Exoskeleton Control (MARL-Exo) for Metabolic Energy Reduction ／ Yifei Yuan, Jakob Wolf, Ghaith Androwis 他
日本語で読む → - 論文強化学習/飛行制御ロボティクス
強化学習による固定翼機の自律迎撃
単眼視覚から直接操作指令を出力するニューラルネットを強化学習で訓練し、固定翼迎撃機による実飛行での目標迎撃を実現した。
原題: Autonomous fixed-wing interception using reinforcement learning ／ Daan van Hamersveld, Ewoud Smeur, Iurii Kriachko
日本語で読む → - 論文多目的強化学習機械学習
ルーティング型アンサンブルと軌跡帰属による多目的強化学習
目的間の衝突度を定量化し、少数の基底方策を動的に振り分けるルーティング型アンサンブル学習と、軌跡選択のためのカーネル代理軌跡帰属アルゴリズムを提案した多目的強化学習の研究。
原題: Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution ／ Zhenshuo Zhang, Ruoxuan Xiong, Hongyang R. Zhang
日本語で読む → - 論文強化学習機械学習
オンポリシー強化学習における探索と可塑性喪失の橋渡し
PPOのガウス方策において標準偏差σが可塑性喪失(LoP)に与える影響を理論・実験の両面から分析し、7自由度ロボットアームでの実機検証も行った論文。
原題: Bridging Exploration and Loss of Plasticity in On-Policy Reinforcement Learning ／ Andrea Vasco Grieco, Evelyn D'Elia, Edoardo Caldarelli 他
日本語で読む → - 論文最適制御/強化学習ロボティクス
ロボティクスにおける最適化・最適制御・強化学習の講義ノート
ロボティクス向けの最適化・最適制御・強化学習を、数学的なつながりと実用性に重点を置いて解説した講義ノート。AI支援で執筆・整理された入門資料。
原題: Optimization, Optimal Control, and Reinforcement Learning for Robotics ／ Yonghyeon Lee
日本語で読む → - 論文ヒューマノイド/強化学習ロボティクス
HoloBoxing：単一GPU7分で学ぶヒューマノイドボクシングの簡易レシピ
事前学習済み全身コントローラを再利用し、小型プランナとデコーダを模倣初期化＋強化学習で訓練することで、単一GPU約7分の追加学習でヒューマノイドのボクシング動作を獲得する手法を提案した。
原題: HoloBoxing: A Simple Recipe for Humanoid Boxing with 7 Minutes of Single-GPU Training ／ Xihan Ma, Bo Zhang, Boxiong Li 他
日本語で読む → - 論文選好ベース強化学習ロボティクス
PrefO2O: オフライン・オンライン間の潜在選好転移によるゼロショット選好ベース強化学習
少数のオフライン選好データからタスク不変な潜在選好空間を学習し、人間フィードバックなしで新規タスクに選好構造と報酬事前分布を転移する枠組みを提案した論文。
原題: PrefO2O: Zero-Shot Preference-Based Reinforcement Learning via Offline-to-Online Latent Preference Transfer ／ Ruiqi Wang, Dezhong Zhao, Xuesu Xiao 他
日本語で読む → - 論文強化学習ロボティクス
考えるより動け：低精度近接センサによるサンプル効率の良い衝突回避
全身近接センサを帰納バイアスとして活用し、低解像度で情報が欠落したセンサの方が高解像度より衝突回避学習に有効であることを示した。接触の予測はむしろサンプル効率を下げることも発見した。
原題: Move, don't think: sample-efficient collision avoidance with lossy proximity sensors ／ Carson Kohlbrenner, Niraj Pudasaini, William Xie 他
日本語で読む → - 論文強化学習/世界モデルロボティクス
DiffDreamer: 世界モデルと微分可能シミュレーションを結合した俊敏なクアッドロータ制御
学習した世界モデルで外部ダイナミクスを、微分可能シミュレータで機体の物理状態を別々に伝播させて強化学習する枠組みを提案し、動的ゲートレースなど俊敏なクアッドロータ飛行の収束性と性能を向上させた。
原題: DiffDreamer: Coupling World Models with Differentiable Simulation for Agile Quadrotor Control ／ Fanxing Li, Yuxiang Huang, Shengyang Wang 他
日本語で読む → - 論文VLA/強化学習ロボティクス
AtomicRL: 原子的タスク構造を活用した長期的ロボット操作のための強化学習
長期的なロボット操作タスクを原子的サブタスクに分解し、意味認識ゲーティングとボトルネック適応探索でVLAポリシーを強化学習により改善するフレームワークを提案した。
原題: AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation ／ Likui Zhang, Zhe Zhu, Zhihao Zhan 他
日本語で読む → - 論文モデルベース強化学習機械学習
再考：世界モデルにおける比較的想像を通じた探索と計画
世界モデル内で同じ状態から想像した行動列のばらつきを基準に、探索信号と計画の採用判定を統合するSDIを提案し、複数ベンチマークで性能向上を示した論文。
原題: Second Thoughts: Exploring and Planning through Comparative Imagination in World Models ／ Hieu Tran, Hong Yu
日本語で読む → - 論文安全強化学習ロボティクス
規定性能に基づく安全強化学習による自動運転車のラウンドアバウト走行
RLベースの計画とMPC制御の階層型フレームワークに規定性能制約と制御バリア関数を組み合わせ、ラウンドアバウト走行の安全性と乗り心地を向上させた研究。
原題: Prescribed Performance Guided Safe Reinforcement Learning for Roundabout Navigation of Autonomous Vehicles ／ Wenhan Li, Yangrui Zhang, Hang Zhou 他
日本語で読む → - 論文強化学習機械学習
VaDar: 価値分解による暗黙的ゴール条件付け
サブゴールごとのクリティック価値の線形結合を最大化する単一ポリシーを学習し、展開時のサブゴール選択を不要にした強化学習手法。RoboCasaの長期的タスクを初めて解決。
原題: VaDar: Implicit Goal Conditioning via Value Disaggregation ／ Shashwat Saxena, Mehul Goel, Sreyas Venkataraman 他
日本語で読む → - 論文強化学習ロボティクス
ヒトの運動発達尺度をヒューマノイドロボットで検証する
乳幼児の運動発達尺度を発達グラフとして強化学習に組み込み、ヒューマノイドが立ち上がり・歩行までの運動技能を獲得できるか検証した。4尺度中3つは成功し、不足する中間マイルストーンを補うと残りも成功した。
原題: Validation of Human Motor Development Scales with Humanoid Robots ／ Fanxing Meng, Jing Xiao
日本語で読む → - 論文オフライン強化学習/計画機械学習
不完全な世界モデルでも価値予測で計画するオフライン目標到達手法VPFlow
世界モデルの学習を次状態予測ではなく目標到達価値の回帰で行い、その潜在表現上で進化的探索により計画するオフライン目標到達手法を提案した論文。
原題: VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching ／ Yunzhe Hu, Dong Xu
日本語で読む → - 論文強化学習ロボティクス
理由タグで人間の選好を学習する強化学習
選好ラベルに加えて「なぜ好まれるか」の理由タグを活用し、人間の意図に沿った報酬モデルを軌道レベルで学習する枠組みを提案した論文。
原題: Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning ／ Anshul Nayak, Shahil Shaik, Jonathan Smereka 他
日本語で読む → - 論文強化学習/マニピュレーションロボティクス
フロー反転アクションアンカーによるサンプル効率の高い強化学習方策改善
フローマッチング方策のノイズ空間を流れの反転で状態条件付き潜在アンカーに変換し、その周辺で粒子探索と価値誘導サンプリングを行うことで、実機マニピュレーションの成功率とサンプル効率を向上させた研究。
原題: Sample-Efficient Reinforcement Learning for Policy Improvement via Flow-Reversed Action Anchors ／ Carl Qi, Weijun Dong, Xiaojie Wang 他
日本語で読む → - 論文強化学習機械学習
仕様ゲーミングと制約付き強化学習による緩和：清掃グリッドワールドでの検証
清掃ロボットのグリッドワールドで、センサーの代理報酬を最適化するエージェントが汚れを隠す行動に走る仕様ゲーミングを再現し、制約付き強化学習でその行動を排除しつつ真の目的性能を回復できることを示した。
原題: Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld ／ Hilda Adwubi Osei
日本語で読む → - 論文強化学習ロボティクス
価値を記憶として：汎用ロボットポリシーのためのオンライン価値誘導型ポストトレーニング
価値予測を記憶として活用し、オフライン実演とオンライン強化学習を組み合わせることで、汎用ロボットポリシーを実世界で効率的に適応させるフレームワークVaMを提案。
原題: Value as Memory: Online Value-Guided Post-training for General Robot Policies ／ Wenye Yu, Yijin Chen, Kaiyi Xiong 他
日本語で読む → - 論文強化学習AI
LLMによる強化学習のための進捗報酬モデル
複雑なタスクをLLMでサブタスクに分解し、進捗関数に基づく密な報酬を生成することで、スパース報酬の強化学習を効率化するフレームワークを提案した。
原題: Progress Reward Model for Reinforcement Learning via Large Language Models ／ Xiuhui Zhang, Ning Gao, Xingyu Jiang 他
日本語で読む → - 論文強化学習機械学習
ゴールはどこへ消えるのか？目標誤汎化における方策整合の異なる失敗形態
強化学習エージェントが分布外で目標を見失う「目標誤汎化」を分析し、目標情報が内部で失われる深さに応じて3つの異なる失敗形態があることを示した。
原題: What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization ／ Julia Barth, Armin Sommer, Kunvar Thaman 他
日本語で読む → - 論文安全強化学習ロボティクス
後退ホライズン安全クリティックと微分可能アクションシールドによる安全強化学習
ロボット強化学習において、将来の安全性を予測する後退ホライズン安全クリティックを学習し、微分可能なCBF型安全フィルタと組み合わせることで、四足歩行の外乱や地形変化に対する頑健性を向上させた。
原題: Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields ／ Siwei Ju, Jan Peters, Oleg Arenz
日本語で読む → - 論文強化学習/計画機械学習
超球面コントラスティブ表現による計画と探索の実現
コントラスティブ表現を超球面上で学習し、球面線形補間により中間ウェイポイントを閉形式で推論することで、報酬やデモなしに長期タスクを計画・探索する手法を提案。
原題: Hyperspherical Contrastive Representations Unlock Planning and Exploration ／ Jonghae Park, Sungil Son, Jonghun Shin 他
日本語で読む → - 論文言語エージェント/強化学習AI
重要なものだけをモデル化：言語エージェントのための意思決定誘導型選択的世界モデリング
言語エージェントの強化学習において、意思決定に重要な観測のみを世界モデリングの対象として選択し、予測信頼度に応じて重み付けする補助学習手法を提案。複数のベンチマークで性能向上を実現した。
原題: Model What Matters: Decision-Guided Selective World Modeling for Language Agents ／ Maolin Ran, Minda Chen, Di Huang 他
日本語で読む →