論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/10/4 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/古典制御/ROV/シミュレーションロボティクス
6自由度パイプライン追従ROVの強化学習と古典制御を統合する動力学フレームワーク（NVIDIA Isaac Sim上での検証）
同一のUSDシーンとFossen動力学モデルを強化学習と古典制御の両方に適用し、5種のRLアルゴリズムと6種の古典制御を公平に比較評価できる統合フレームワークをIsaac Sim上で構築した。
原題: A Unified Dynamics Framework for Reinforcement Learning and Classical Control of a Six-DOF Pipeline-Tracking ROV in NVIDIA Isaac Sim ／ Cheng Siong Chin, M. Venkateshkumar, Jianhua Zhang
日本語で読む → - 論文マルチエージェント強化学習cs.MA
部分的観測動的ゲームにおける未知の対戦相手に対するレベルK政策の編成
未知の対戦相手の推論レベルを推定して応答を選ぶ従来手法を、部分的観測マルコフゲームにおける動的な政策編成問題として定式化し、強化学習ベースの編成器が分類ベースより高いリターンを達成することを示した。
原題: Orchestrating Level-$K$ Policies Against Unknown Opponents in Partially-Observable Dynamic Games ／ Addison Kalanther, Sanika Bharvirkar, Daniel Bostwick 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
未モデル状態依存性下での学習クリティックによる最適制御
解析モデルに残差動力学ネットワークを加え、学習した行動価値クリティックをiLQRに統合することで、接触などモデル化困難な状態依存性に対応する学習ベースMPCを提案。GPU加速バッチiLQRで効率的に学習する。
原題: Optimal Control with Learned Critics under Unmodeled State Dependencies ／ Philipp Schoch, Markus Ryll
日本語で読む → - 論文強化学習機械学習
方向条件付き方策によるオンライン目標条件付き強化学習
コントラスティブ強化学習の批評家が持つ表現空間の幾何学を直接活用するため、方策を方向と距離で条件付ける手法を提案し、ナビゲーションとマニピュレーションで成功率を向上させた。
原題: Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning ／ S K Swaminathan, Damiya Gondha, Theyanesh Eswaramoorthy Rajahkrishnan 他
日本語で読む → - 論文強化学習/探索機械学習
CURIO: 好奇心駆動によるテスト時学習でオープンエンドな発見を実現
強化学習に好奇心ベースの世界モデルを組み合わせ、報酬の低い有望な探索方向を早期に切り捨てずにテスト時に学習する手法を提案。数学的発見タスクと単一細胞ノイズ除去で性能を改善。
原題: CURIO: Curiosity-Driven Test-Time Learning for Open-Ended Discovery ／ Tao Feng, Fangxu Yu, Zijie Lei 他
日本語で読む → - 論文強化学習テストcs.SE
DreamTest: 深層強化学習エージェントの探索ベーステストのための世界モデル代理モデル
エージェントの訓練ログから世界モデルを学習し、想像上のロールアウトで失敗を予測することで、シミュレータ実行を減らしつつ多様な失敗を効率的に発見するテスト手法を提案。
原題: DreamTest: World-Model Surrogates for Search-Based Testing of Deep Reinforcement Learning Agents ／ Qinghua Xu, Guancheng Wang, Boxi Yu 他
日本語で読む → - 論文液滴操作/強化学習ロボティクス
モデルベース強化学習による液滴の自律ナビゲーション：ゼロショット転移と創発的ダイナミクス
2軸傾斜板とカメラを用い、モデルベース強化学習で液滴を閉ループ制御し、未見形状へのゼロショット転移や付着時の振動脱離戦略を自律獲得した。
原題: Autonomous Droplet Navigation via Model-Based Reinforcement Learning: Zero-Shot Transfer and Emergent Dynamics ／ Rajneesh Anand, Mayuresh V. Kothare
日本語で読む → - 論文強化学習/報酬設計ロボティクス
ROOT: ユーザー指定の身体動作のための報酬発見フレームワーク
動画言語モデルと実験木探索を組み合わせ、自然な歩容や姿勢など視覚的に認識しやすい身体動作を報酬関数として自動発見する手法を提案。シミュレーションと実機の四足歩行ロボットで有効性を実証した。
原題: ROOT: Discovering Rewards for User-Specified Embodied Behaviors ／ Eren Sadikoglu, Aditya Taparia, Xinyuan Liu 他
日本語で読む → - 論文強化学習/ロバスト制御cs.NE
自己修復型リカレントアンサンブルによる分布シフトからのリアルタイム回復
センサドリフトや故障による分布シフトに対し、マスク付きリカレントネットのアンサンブルとカルマン融合で自己教師ラベルを作り、RFLOでオンライン微調整して回復する手法。
原題: Self-Repairing Recurrent Ensembles for Real-Time Recovery from Distribution Shift ／ Julian Lemmel, Pedro D. Wendel Garcia, Taisuke Kobayashi 他
日本語で読む → - 論文モデルベース強化学習機械学習
行動なし時系列からの動的埋め込みによる転移可能な方策学習
行動が観測されない時系列データから、関連システム間で共有される動的構造を低次元埋め込みで捉え、その埋め込みを再利用して制御方策を学習する階層的モデルベース強化学習を提案した。
原題: Learning Transferable Policies from Action-free Time Series Through Dynamical Embeddings ／ Niklas Emonds, Georgia Koppe
日本語で読む → - 論文モデルベース強化学習AI
VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化
モデルベース強化学習において、弱から強への非対称なデータ拡張と潜在空間での動力学・エンコーダ一貫性を組み合わせ、未知の視覚的妨害に対してゼロショットで汎化できるフレームワークを提案した。
原題: VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning ／ Mingyu Park, Samyeul Noh, Hyun Myung 他
日本語で読む → - 論文生涯強化学習機械学習
生涯強化学習における継続的適応のためのポリシー探索と再利用
オンライン経験からタスク類似度を推定し、過去のポリシーを選択・重み付けして新タスクの事前知識として再利用する手法AMSCを提案。
原題: How to Find and Reuse Policies for Continuous Adaptation in Lifelong Reinforcement Learning ／ Saptarshi Nath, Inish M. D'Souza, Antonio Carta 他
日本語で読む → - 論文強化学習機械学習
強化学習のための双方向ボロノイバイアス探索カリキュラム
目標条件付き強化学習において、開始状態と目標を両端から同時に拡張し、未探索領域にバイアスをかけて互いに近づけることで、スパース報酬の長期的タスクを効率的に学習するカリキュラムを提案。
原題: Bidirectional Voronoi-biased Exploration Curriculum for Reinforcement Learning ／ Juri Pfammatter, Kaixian Qu, Clemens Schwarke 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
置換ロバスト性だけでは不十分：マルチエージェントTransformer方策における行動崩壊
マルチエージェントTransformer方策のエージェント順序置換に対するロバスト性を調べ、低い置換誤差が全エージェント同一行動による見かけのロバスト性である「行動崩壊」を引き起こすことを示し、行動多様性指標の必要性を提案した。
原題: Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies ／ Amit Thakur, Mukesh Singhal
日本語で読む → - 論文強化学習ロボティクス
高品質な状態推定なしでの実ロボット相互作用による強化学習
二足歩行ロボットがサッカーボールをゴールに入れる接触の多いタスクにおいて、外部計測なしでオンボードセンシングのみを用い、RSSMで状態表現を学習するRSSM-RLPDを提案し、30分の実世界相互作用で100%の成功率を達成した。
原題: Reinforcement Learning from Real-Robot Interaction without High-Quality State Estimates ／ Ryan Gao, Ashvin Anilkumar, Nicholas Corrado 他
日本語で読む → - 論文マルチエージェント強化学習/全身制御ロボティクス
MASkillBlender: スキルブレンディングによるマルチヒューマノイド全身協調の分散制御
事前学習済みの単一ヒューマノイドスキルを再利用し、タスクレベルの報酬だけで複数ヒューマノイドの分散的な全身協調動作を学習するフレームワークを提案。
原題: MASkillBlender: Decentralized Whole-Body Coordination for Multi-Humanoid Loco-Manipulation via Skill Blending ／ Yifan Hu, Luhang Hong, Mingkang Long 他
日本語で読む → - 論文強化学習機械学習
マルチフィデリティ方策勾配によるデータ希少強化学習の安定化
高忠実度データが少ない強化学習において、低忠実度データを制御変量として活用し、PPOに拡張したMFPG-PPOを提案。シミュレーションと実機で安定性とデータ効率を向上させた。
原題: Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning ／ Xinjie Liu, Ruihan Zhao, Anirban Chaudhuri 他
日本語で読む → - 論文強化学習機械学習
FERPO: 前方エントロピー正則化方策最適化
クリティックの行動微分を使わず、前方KL目的と自己正規化重要度サンプリングで方策改善を行う最大エントロピー強化学習アルゴリズムを提案し、連続制御タスクで性能とサンプル効率を向上させた。
原題: FERPO: Forward Entropy-Regularized Policy Optimization ／ Sebastian Sanokowski, Alireza Sarmadi, Majid Khadiv
日本語で読む → - 論文モデルベース強化学習機械学習
CEMにおける世界モデルは提案メカニズムでもある
クロスエントロピー法（CEM）において、世界モデルが行動選択と次回の候補分布の両方に影響することを実験的に分離し、モデルのスコア誤差が提案メカニズムを通じて将来の候補にも影響を与えることを示した。
原題: In CEM, a World Model Is Also a Proposal Mechanism ／ Oliver Obst, Frieder Stolzenburg
日本語で読む → - 論文マルチエージェント強化学習機械学習
テスト時マルチエージェント協調のための分解価値勾配フロー
オフラインMARLにおいて、生成モデルと価値関数をテスト時のアクション洗練で統合し、Stein変分勾配降下で行動サンプルを高価値領域へ輸送するSCOUTを提案。離散・連続ベンチマークで最高性能を達成。
原題: Test-time Multi-agent Coordination by Decomposed Value Gradient Flow ／ Dongsu Lee, Haoran Xu, Amy Zhang
日本語で読む → - 論文強化学習機械学習
報酬を観測として：迅速な適応のための報酬ベース方策の学習
報酬と行動のみを条件とする方策を提案し、観測空間が全く異なる環境へのゼロショット適応を実現した。
原題: Reward as Observation: Learning Reward-Based Policies for Rapid Adaptation ／ Morgan Byrd, Maks Sorokin, Robert Wright 他
日本語で読む → - 論文オフライン強化学習機械学習
役割適応型方策最適化によるオフライン強化学習
オフライン強化学習において、価値学習と実行での方策の役割に応じて更新係数を適応させるRAPOを提案し、TD3+BCやIQLの性能を向上させた。
原題: Role-Adaptive Policy Optimization for Offline Reinforcement Learning ／ Seonvin Cho, Soohyun Choi, Songnam Hong
日本語で読む → - 論文モデルベース強化学習ロボティクス
計画と学習のループを閉じる：学習済み世界モデルによるロボット制御
学習済み世界モデルを用いたモデル予測制御（MPC）において、批評家の監督と計画の終端価値推定を改良し、計画と学習のフィードバックループを強化するPL-MPCを提案。HumanoidBenchで性能向上と実機へのゼロショット転移を実証。
原題: Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models ／ Kowndinya Boyalakuntla, Yuhan Liu, Abdeslam Boularias
日本語で読む → - 論文強化学習ロボティクス
PRICE：身体性強化学習のための物理的関係に基づく行動チャンクのクレジット割り当て
終端の成否信号のみから、軌道間の物理的関係を利用して行動チャンクごとのクレジットを推定する手法PRICEを提案し、LIBEROや実機で有効性を示した。
原題: PRICE the Action Chunks: Physical Relational Credit Assignment for Embodied Reinforcement Learning ／ Yangang Zou, Jiajun Lu, Weitao Zhou 他
日本語で読む → - 論文安全自動運転/制約付き強化学習AI
Brain-SAD: 恐怖反応に基づく動的制約を備えた脳模倣型安全自動運転制御フレームワーク
車両インタラクション場面から動的な「恐怖信号」を生成し、通常走行用の長期ポリシーと衝突回避用の短期ポリシーを切り替えつつ、恐怖に基づく動的制約で安全性を高める自動運転制御フレームワークを提案した。
原題: Brain-SAD: A Brain-Inspired Safe Autonomous Driving Control Framework with Dynamic Fear-Oriented Constraint on Dual-Policy ／ Huan Rong, Chao Yin, Anouar Imel 他
日本語で読む → - 論文強化学習機械学習
ループアクター：強化学習のための深さ方向リカレント推論モデル
共有パラメータを繰り返し適用するループ型トランスフォーマーポリシーを提案し、状態に応じて計算量を適応的に変えることで、パラメータ数が16倍のベースラインと同等以上の性能を22タスクで達成した。
原題: Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning ／ T. Konstantin Rusch, Tim Seyde, Jared Boyer 他
日本語で読む → - 論文強化学習機械学習
提案条件付きリファインメントフローによる拡散方策の改善
拡散・フロー方策のKL正則化の限界を克服するため、批評家に基づく提案選択と条件付きリファインメントフローを組み合わせたPReFlowを提案し、オフラインRLとオンライン微調整で高い性能を達成した。
原題: Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows ／ Junhyun Ha, Juho Lee, Byungwoo Park
日本語で読む → - 論文飛行制御/強化学習ロボティクス
バッテリー状態を考慮した強化学習によるアグレッシブなクアッドロータ飛行
バッテリー電圧の低下を考慮した強化学習制御により、ドローンレースなどのアグレッシブ飛行で追従誤差とラップタイムを改善した研究。
原題: Battery-Aware Reinforcement Learning for Aggressive Quadrotor Flight ／ Alejandro Sanchez Roncero, Olov Andersson, Petter Ogren
日本語で読む → - 論文強化学習機械学習
品質多様性のための行動基盤モデル
行動基盤モデル（BFM）の潜在行動空間を探索空間として品質多様性（QD）探索を行うBFM-QDを提案し、密な移動・疎なナビゲーション・接触の多い操作で従来のパラメータ空間ベース手法を上回ることを示した。
原題: Behavioral Foundation Models for Quality Diversity ／ Nazim Bendib, Nicolas Perrin-Gilbert, Olivier Sigaud
日本語で読む → - 論文強化学習AI
ChronoSRL: 自己教師あり強化学習のための時間的幾何学
状態行動とゴールの埋め込み間の距離を到達時間に一致させる時間的幾何学を導入し、生存強化学習と組み合わせて、より速く信頼性の高いゴール到達を実現する手法を提案。
原題: ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning ／ Nico Bohlinger, Jan Peters
日本語で読む →