論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/8/15 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習ロボティクス
Max-Q選択的模倣による人間参加型オンラインロボット学習
人間の介入を活用したオンライン強化学習において、介入軌道を直接評価するMC Q-chunk批判と、現在のポリシーとバッファサンプルのうち高いQ値を持つ方を模倣するmax-Q選択的模倣を組み合わせ、介入学習と自己改善を自動的に切り替える手法を提案した。実機のUSB挿入タスクで99%の成功率を30分で達成した。
原題: Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning ／ Zihang Wang, Yishan Wang
日本語で読む → - 論文VLA/強化学習ロボティクス
StructRL: フローベースVLAのための構造化アクション空間探索
フローベースの視覚言語行動モデル(VLA)のオンライン強化学習において、ノイズをアクション空間に直接注入する構造化探索手法StructRLを提案し、シミュレーションと実世界タスクで性能を向上させた。
原題: StructRL: Structured Action-Space Exploration for Flow-Based VLAs ／ Jiarui Yang, Bin Zhu, Jingjing Chen 他
日本語で読む → - 論文強化学習/UAVロボティクス
AgilePE: 自己対戦強化学習による自律UAV追跡・回避
自己対戦強化学習を用いて、UAVの追跡・回避行動をエンドツーエンドで学習し、シミュレーションから実機へのゼロショット転送を実現したシステムを提案する。
原題: AgilePE: Autonomous UAV Pursuit-Evasion via Self-Play Reinforcement Learning ／ Wenhao Tang, Tianyang Chen, Zhejun Cui 他
日本語で読む → - 論文強化学習/時相論理AI
信号時相論理のための報酬機械
信号時相論理（STL）仕様を強化学習で満たすための、オートマトンに基づく効率的な記憶機構とマルコフ報酬を導入し、既存のロバスト性報酬より高い満足率とロバスト性を達成した。
原題: Reward Machines for Signal Temporal Logic ／ Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai
日本語で読む → - 論文強化学習機械学習
世界モデルによる自動研究エージェントのスケーリング
自動研究エージェントの強化学習において、環境実行がボトルネックになる問題を解決するため、世界モデルで環境を置き換えるWMRLを提案し、バイアス補正とノイズ抑制で性能を向上させた。
原題: Scaling Automatic Research Agents via World Models ／ Xiyuan Yang, Sheikh Sarwar, Jingru Cheng 他
日本語で読む → - 論文計画/強化学習AI
多様な計画ポリシーの発見：品質多様性最適化によるマルチモーダル具現化エージェント
マルチモーダル具現化エージェントのための多様な計画ポリシーを品質多様性最適化で発見し、行き詰まり時に別のポリシーへ切り替えることでタスク成功率を向上させる。
原題: Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization ／ Pengfei Xu, Yong Liu, Xiaoya Nan 他
日本語で読む → - 論文3Dシーン生成/強化学習AI
iARCS: 反復エージェント強化学習による制御可能な3Dシーン生成
事前学習済みの3Dシーン生成器を自然言語のタスク要件に適応させる反復エージェント強化学習フレームワークを提案。物理的妥当性とレイアウト品質を向上させつつ、タスク固有の制約（歩行可能性、到達可能性、クリアランス）を満たすシーンを生成する。
原題: iARCS: Iterative Agentic RL for Controllable 3D Scene Generation ／ Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel 他
日本語で読む → - 論文ワールドモデル/強化学習AI
WorldCycle: 長期的ビデオワールドモデルのための自己検証型強化学習
可逆なアクションサイクルを用いて、長期的な正確性を検証する自己教師あり強化学習フレームワークを提案し、ワールドモデルのドリフトを大幅に低減した。
原題: WorldCycle: Self-Verifiable Reinforcement Learning for Long-Horizon Video World Models ／ Bohai Gu, Yueyang Yuan, Taiyi Wu 他
日本語で読む → - 論文強化学習機械学習
報酬構造が強化学習におけるエピソード探索と神経記憶の相互作用を形成する
部分観測強化学習において、探索ボーナスと記憶アーキテクチャの相互作用を制御された環境で調査し、報酬の構造（密度ではなく）がその相互作用パターンを決定することを示した。
原題: Reward Structure Shapes the Interaction Between Episodic Exploration and Neural Memory in Reinforcement Learning ／ Jai Malegaonkar, Rohan Patil, Henrik I. Christensen
日本語で読む → - 論文強化学習/制御理論機械学習
強化学習と制御理論の基礎：接点と新たな視点
強化学習と適応制御の違いを解説し、両者を組み合わせたデータ駆動型意思決定を古典的な移動制御問題で実証するチュートリアル。
原題: Foundations of Reinforcement Learning and Control:Connections and New Perspectives ／ Claire Vernade, Onno Eberhard, Martha White 他
日本語で読む → - 論文強化学習機械学習
上側期待値マルチステップQ学習によるオフ方策強化学習
マルチステップリターンの悲観的バイアスを非対称な期待値損失で補正する新しいQ学習アルゴリズムENQを提案し、理論的性質と実験性能を示した。
原題: Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning ／ Abdelghani Ghanem, Mounir Ghogho
日本語で読む → - 論文強化学習/PbRL機械学習
SP3O: 報酬モデリングなしでセグメント選好から強化学習する手法
報酬モデルを使わずに、セグメント単位の選好フィードバックから方策を直接学習する新しい勾配ベースのPbRLアルゴリズムSP3Oを提案した。理論的解析とロボット制御・LLM微調整での実験で、特に長期的タスクでの性能向上を示した。
原題: SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling ／ Evan Assmus, Qining Zhang, Lei Ying
日本語で読む → - 論文強化学習/VLAロボティクス
時間的GRPO：視覚言語行動強化学習における軌跡レベルの信用割当を超えて
軌跡全体に同じ報酬を割り当てる従来のGRPOの問題を解決するため、タスクを段階に分割し、同じ段階に到達した軌跡同士を比較して段階ごとの利点を計算する新しい手法を提案した。
原題: Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning ／ Yao Zhou, Hang Gao, Fengge Wu 他
日本語で読む → - 論文制御/強化学習ロボティクス
知識蒸留を用いたエンドツーエンド強化学習によるROVの滑らかな6自由度推力制御と海流への迅速適応
ROVの制御において、海流外乱下でも低定常誤差・高速応答・省エネ・滑らかな推力を同時に実現する統一制御フレームワークとして、2段階蒸留学習によるTSRCA-PPO法を提案し、シミュレーションで従来のP-PIDより優れることを示した。
原題: Knowledge-Distilled End-to-End Reinforcement Learning for Smooth 6-DOF Thrust Control and Rapid Adaptation to Ocean Currents in Remotely Operated Vehicles ／ Tiankuang Wen, Huiping Li, Gang Liu 他
日本語で読む → - 論文強化学習機械学習
観測に基づく自己予測強化学習による視覚連続制御
視覚ベースの連続制御タスクにおいて、潜在空間での自己予測と観測空間での予測を組み合わせた新しい表現学習手法を提案し、サンプル効率を向上させた。
原題: Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control ／ Xinwei Liu, Junyuan Liang, Jianting Zhang 他
日本語で読む → - 論文階層強化学習AI
ニューロシンボリック推論とインクリメンタル知識によるサンプル効率的な階層強化学習
階層強化学習において、探索中に得た知識をシンボリックな高レベルプランナーに逐次反映させることで、サンプル効率を大幅に向上させる手法を提案した。
原題: Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning ／ Subrat Prasad Panda, Blaise Genest, Arvind Easwaran
日本語で読む → - 論文外骨格/強化学習ロボティクス
股関節外骨格のための段階的マルチエージェント訓練（SMAT）：シミュレーション訓練された共適応コントローラの代謝・生体力学的検証
シミュレーションのみで訓練した股関節外骨格の制御ポリシーを実機で検証し、受動時と比較して代謝コストを19.7%削減することを実証した論文。
原題: Staged Multi-Agent Training (SMAT) for Hip Exoskeletons: Metabolic and Biomechanical Validation of a Simulation-Trained Co-Adaptive Controller ／ Yifei Yuan, Jakob Wolf, Ghaith Androwis 他
日本語で読む → - 論文強化学習/計画制御
co-safe LTL計画のための厳密なモデルフリーポリシー反復法
有限マルコフ決定過程におけるco-safe線形時相論理目標に対するモデルフリー強化学習法を提案し、割引代理を用いて非一意性を解消し、割引なしのポリシー評価と貪欲改善により最適ポリシーへの収束を保証する。
原題: Exact Model-Free Policy Iteration for Co-safe LTL Planning ／ Zetong Xuan, Yu Wang
日本語で読む → - 論文強化学習ロボティクス
最小データでの汎用ロボットポリシーの適応
事前学習済みのロボットポリシーが、1回のデモンストレーションと自律的なオンライン相互作用だけで新しいタスクを学習できるようにする、オフラインからオンラインへの強化学習手法MiDASを提案した。
原題: Adaptation of Generalist Robot Policies with Minimal Data ／ Shreyas Kowshik, Sreyas Venkataraman, Leo Wang 他
日本語で読む → - 論文強化学習ロボティクス
EvoHIL: 自己進化型報酬とフローマッチングによるポリシー最適化を用いた堅牢な人間参加型強化学習
人間参加型強化学習において、報酬モデル・行動生成・視覚ドメインの3つの限界を同時に適応させる統一フレームワークEvoHILを提案し、照明変化下の6つの操作タスクで性能を向上させた。
原題: EvoHIL: Self-Evolving Reward and Flow-Matched Policy Optimization for Robust Human-in-the-Loop Reinforcement Learning ／ Shuoqin Zhang, Tongtong Cheng, Xiru Gao 他
日本語で読む → - 論文VLA/強化学習ロボティクス
新規ロボット形態に対するOpenVLA-OFTのRLブートストラッピング
事前学習済みのVLAポリシーを、デモデータなしでケーブル駆動パラレルロボットに適応させるため、シミュレーション内でPPOとGRPOを用いた強化学習を行い、指示成功率を向上させた。
原題: RL Bootstrapping of OpenVLA-OFT for a Novel Robot Embodiment ／ Damir Nurtdinov, Alexei Kornaev, Alexander Maloletov
日本語で読む → - 論文移動操作/強化学習機械学習
LUCID: 想像上のダイナミクスによる潜在スキル統合制御による長期的ヒューマノイド移動操作
長期的なヒューマノイドの移動操作タスクを解決するため、学習したダイナミクスモデルの想像上のロールアウトを通じて再利用可能なスキルを計画する階層的モデルベース強化学習フレームワークを提案した。
原題: LUCID: Latent-Skill Unified Control via Imagined Dynamics for Long-Horizon Humanoid Loco-Manipulation ／ Cheng Guo, Mingzhe Ni, Angelo Cangelosi 他
日本語で読む → - 論文強化学習ロボティクス
アクチュエータレベル方策によるケーブル駆動パラレルロボット構成を横断した深層強化学習の一般化
ケーブル駆動パラレルロボット（CDPR）の制御に、ロボット構成に依存しないアクチュエータレベル方策を導入し、シミュレーションで訓練した方策を実機に転移して汎化性能を実証した。
原題: Generalizing deep reinforcement learning across cable-driven parallel robot configurations with actuator-level policies ／ Abir Bouaouda, Mohamed Boutayeb, François Charpillet 他
日本語で読む → - 論文自動運転/強化学習機械学習
Dreamer-SAC: 潜在世界モデルにおけるオフポリシー学習によるサンプル効率的な自動運転
自動運転向けに、世界モデルとソフトアクタークリティックを組み合わせ、潜在空間でオフポリシー学習するフレームワークを提案。短いロールアウトとnステップ目標推定により、少ない実環境インタラクションで高い性能を達成した。
原題: Dreamer-SAC: Off-Policy Learning in Latent World Models for Sample-Efficient Autonomous Driving ／ Jiazhuo Li, Linjiang Cao, Qi Liu 他
日本語で読む → - 論文全身移動/パルクール/強化学習ロボティクス
軽量ロコパルクール：マルチスキル蒸留による多用途な知覚全身移動
深度カメラと速度指令のみで、歩行・バランス・登攀・降下・跳躍などの全身スキルを自律的に切り替える単一のポリシーを提案し、障害物のある地形での移動を実現した。
原題: Light-Loco-Parkour: Versatile Perceptive Whole-Body Locomotion via Multi-Skill Distillation ／ Hongming Chen, Zhuoran Li, Hongxi Wang 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
トラック誘導型階層強化学習による自動運転ドリフトと最小ラップタイム計画
ラリー競技のようなドリフト走行を自動運転で実現するため、最小ラップタイム計画と強化学習を組み合わせた階層的制御フレームワークを提案した。ドリフト制御からコーナリング、レース全体へと段階的に学習することで、複雑なドリフト運転を実現する。
原題: Track-Guided Hierarchical Reinforcement Learning for Autonomous Vehicle Drifting with Minimum-Lap-Time Planning ／ Sheng Zhao, Bolin Zhao, Xiaodong Wu 他
日本語で読む → - 論文操作/強化学習ロボティクス
SpeedTuning: 軽量強化学習によるポリシー実行の高速化
模倣学習で得た操作ポリシーの実行速度を、追加データ収集なしで強化学習により最適化し、成功率を保ちつつ2.4倍以上の高速化を実現するフレームワークを提案した。
原題: SpeedTuning: Speeding Up Policy Execution with Lightweight Reinforcement Learning ／ David D. Yuan, Tony Z. Zhao, Kaylee Burns 他
日本語で読む → - 論文強化学習/アクロバットロボティクス
強化学習による自転車アクロバット
強化学習を用いて自転車ロボットに多様なアクロバティックなスタント（ジャンプ、フリップ、ウィリーなど）を学習させ、状態依存トリガーでポリシーを切り替えるオーケストレータにより長期的な連続スタントを実現した。
原題: Bicycle Acrobatics with Reinforcement Learning ／ Shamel Fahmi, Arianna Ilvonen, Samuel Zapolsky 他
日本語で読む → - 論文強化学習制御
臨界性モデルを用いた身体性AIの自己進化学習
身体性AIのファインチューニング停滞を解決するため、ポリシー自身の実行結果から将来の失敗確率を予測する臨界性モデルを学習し、失敗しやすいシナリオを重点的にサンプリングして学習データの情報密度を高める自己進化手法を提案した。
原題: Self-Evolving Learning for Embodied AI with Criticality Model ／ Linxuan He, Yuying Tian, Lingxiang Fan 他
日本語で読む → - 論文マルチエージェント強化学習AI
MARS-RA: マルチモーダル比較による具現化マルチエージェント協調におけるクレジット割り当てのためのランク集約
協調マルチエージェント強化学習におけるクレジット割り当て問題を、大規模マルチモーダルモデルによるエージェント間のペア比較を用いたランク集約問題として再定式化し、ノイズや動的なエージェント参加に頑健な報酬整形手法を提案した。
原題: MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation ／ Dawei Wang, Di Zhao, Xinyuan Liu 他
日本語で読む →