論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/4/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/航空機機械学習
強化学習を用いた自動対地衝突回避システム
ジェット練習機向けに、強化学習ベースの自動対地衝突回避システムを設計し、限られた観測空間での安全性と運用効率を向上させる手法を提案した論文。
原題: An Automatic Ground Collision Avoidance System with Reinforcement Learning ／ Seyyid Osman Sevgili, Atahan Cilan, Mahir Demir 他
日本語で読む → - 論文組立/強化学習ロボティクス
複合ロボット組立スキル適応のための学習ベース戦略
位置制御マニピュレータによるペグ・イン・ホール組立を対象に、残差強化学習を用いて接触リッチな作業中の適応を実現する、再利用可能な複合スキル戦略を提案した。
原題: Learning-Based Strategy for Composite Robot Assembly Skill Adaptation ／ Khalil Abuibaid, Aleksandr Sidorenko, Achim Wagner 他
日本語で読む → - 論文強化学習/拡散ポリシー機械学習
FlowRL: 拡散ポリシーを用いた強化学習の分類法とモジュール型フレームワーク
拡散モデルやフローモデルをポリシーとして用いる強化学習アルゴリズムを体系的に分類し、JAXベースのモジュール型コードベースと標準ベンチマークを提供した論文。
原題: FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies ／ Chenxiao Gao, Edward Chen, Tianyi Chen 他
日本語で読む → - 論文強化学習機械学習
予測ベースのマルコフ違反スコアによる強化学習における非マルコフ観測の検出
強化学習の観測がマルコフ性を満たさない場合を検出するため、予測誤差に基づくマルコフ違反スコア（MVS）を提案し、複数の環境とアルゴリズムでその有効性を検証した。
原題: Prediction-Based Markov Violation Scores for Detecting Non-Markovian Observations in Reinforcement Learning ／ Naveen Mysore
日本語で読む → - 論文オフライン強化学習機械学習
微分可能な世界モデルを用いたオフライン強化学習の推論時ポリシー最適化
事前学習済みポリシーと学習済み世界モデルを用いて、推論時にポリシーパラメータを勾配法で最適化するフレームワークを提案し、D4RLベンチマークで性能向上を確認した。
原題: Inference Time Policy Optimization for Offline RL with Differentiable World Models ／ Rohan Deb, Stephen J. Wright, Arindam Banerjee
日本語で読む → - 論文VLA/強化学習機械学習
AcceRL: 視覚言語行動モデルのための分散非同期強化学習と世界モデルフレームワーク
同期バリアと環境データ取得コストによるボトルネックを解消するため、環境ロールアウト・モデル推論・勾配更新を物理的に分離した分散非同期RLフレームワークを提案し、スループットとサンプル効率を大幅に向上させた。
原題: AcceRL: A Distributed Asynchronous Reinforcement Learning and World Model Framework for Vision-Language-Action Models ／ Chengxuan Lu, Shukuan Wang, Yanjie Li 他
日本語で読む → - 論文強化学習機械学習
統一ポリシー価値分解による迅速な適応
ポリシーと価値関数が低次元の目標埋め込みを共有する枠組みを導入し、事前学習で二線形分解を行い、テスト時には勾配更新なしで即座に新しいタスクへ適応する手法を提案した。
原題: Unified Policy Value Decomposition for Rapid Adaptation ／ Cristiano Capone, Luca Falorsi, Andrea Ciardiello 他
日本語で読む → - 論文強化学習/ヒューマノイド制御機械学習
FastDSAC: 高次元ヒューマノイド制御における最大エントロピー強化学習の可能性を引き出す
高次元のヒューマノイド制御で、次元ごとのエントロピー調整と連続分布型クリティックを導入し、最大エントロピー強化学習の性能を大幅に向上させた。
原題: FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control ／ Jun Xue, Junze Wang, Shanze Wang 他
日本語で読む → - 論文連続強化学習機械学習
ARROW: 拡張リプレイによる堅牢な世界モデル
連続強化学習における破滅的忘却を防ぐため、モデルベースRLアルゴリズムDreamerV3に、短期・長期の2つのバッファを持つメモリ効率の良いリプレイ手法を導入し、タスク多様性を保ちながら学習を安定化させる手法を提案した。
原題: ARROW: Augmented Replay for RObust World models ／ Abdulaziz Alyahya, Abdallah Al Siyabi, Markus R. Ernst 他
日本語で読む → - 論文強化学習機械学習
ベルマン整合性とハイブリッド批評家によるクロスドメイン方策最適化
強化学習において、ソースドメインのデータを活用してターゲットドメインの学習を効率化するクロスドメイン転移を扱い、ドメイン間の状態・行動空間の違いと転移の負の影響を同時に解決する手法QAvatarを提案した。
原題: Cross-Domain Policy Optimization via Bellman Consistency and Hybrid Critics ／ Ming-Hong Chen, Kuan-Chen Pan, You-De Huang 他
日本語で読む → - 論文モデルベース強化学習機械学習
Dreamer-CDP: 連続決定論的表現予測による再構築不要ワールドモデルの改善
Dreamerなどのモデルベース強化学習エージェントで、観測再構築を使わずにJEPAスタイルの連続決定論的表現予測を導入し、Crafter環境で再構築ベース手法と同等の性能を達成した。
原題: Dreamer-CDP: Improving Reconstruction-free World Models Via Continuous Deterministic Representation Prediction ／ Michael Hauri, Friedemann Zenke
日本語で読む → - 論文オフライン強化学習機械学習
IPD: オフライン強化学習における想像的計画蒸留による逐次方策の強化
オフライン強化学習の逐次方策モデルに対し、世界モデルと準最適価値関数を用いて劣った軌道を特定し、想像上の最適ロールアウトを生成してデータ拡張と蒸留を行う新しい枠組みIPDを提案した。
原題: IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning ／ Yihao Qin, Yuanfei Wang, Hang Zhou 他
日本語で読む → - 論文メタ強化学習機械学習
オフラインメタ強化学習のための文脈潜在世界モデル
オフラインのメタ強化学習において、タスク表現を潜在世界モデルに条件付けして共同学習することで、タスク依存のダイナミクスを捉える表現を獲得し、未見タスクへの汎化性能を向上させた。
原題: Contextual Latent World Models for Offline Meta Reinforcement Learning ／ Mohammadreza Nakheai, Aidan Scannell, Kevin Luck 他
日本語で読む → - 論文計画/強化学習ロボティクス
ハイブリッドLLM-シンボリック計画とLLM誘導強化学習による新規性適応
動的環境で新規オブジェクトに遭遇したロボットが、LLMの常識推論で欠落オペレータを特定し、シンボリックプランナーで計画を立て、LLMが報酬関数を設計して強化学習で制御ポリシーを学習する神経シンボリックアーキテクチャを提案。連続ロボット領域でのオペレータ発見と学習で最先端を上回る性能を示した。
原題: Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning ／ Hong Lu, Pierrick Lorang, Timothy R. Duggan 他
日本語で読む → - 論文強化学習/動作模倣ロボティクス
反復動作模倣による自転車ロボットのフリップスタント
実現不可能な参照動作を反復的に模倣する手法(IMI)を提案し、自転車ロボット(UMV)で前転フリップを成功させた。
原題: Flip Stunts on Bicycle Robots using Iterative Motion Imitation ／ Jeonghwan Kim, Shamel Fahmi, Seungeun Rho 他
日本語で読む → - 論文強化学習・計画ロボティクス
強化学習と動的計画法に基づく計画の関係
強化学習と計画の違いを整理し、非確率化した強化学習と価値反復法やダイクストラ法を比較して、コスト最小化と報酬最大化の等価条件などを解析した。
原題: Relating Reinforcement Learning to Dynamic Programming-Based Planning ／ Filip V. Georgiev, Kalle G. Timperi, Başak Sakçak 他
日本語で読む → - 論文強化学習機械学習
強化学習の解釈のための損失ランドスケープ可視化フレームワーク：ADHDPケーススタディ
強化学習の学習過程を可視化するフレームワークを提案し、ADHDPアルゴリズムを宇宙機の姿勢制御に適用して、損失曲面や状態TDマップなど4つの視点から学習ダイナミクスを解釈する。
原題: A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study ／ Jingyi Liu, Jian Guo, Eberhard Gill
日本語で読む → - 論文手術ロボティクス/オフライン強化学習ロボティクス
SutureFormer: ピクセル空間における目標条件付きオフライン強化学習による手術軌道の学習
内視鏡映像から針先の軌道を逐次意思決定問題として捉え、スプライン補間で疎な注釈を密な報酬に変換する目標条件付きオフライン強化学習フレームワークを提案した。
原題: SutureFormer: Learning Surgical Trajectories via Goal-conditioned Offline RL in Pixel Space ／ Huanrong Liu, Chunlin Tian, Tongyu Jia 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
COIN: 協調と相互作用を考慮した自動運転のためのマルチエージェント強化学習
本論文は、自動運転のためのマルチエージェント強化学習フレームワークCOINを提案し、個別目標と協調目標を同時に最適化する新しいアルゴリズムと、局所・大域の相互作用を捉える批判者アーキテクチャを導入して、密集交通での安全性と効率を向上させた。
原題: COIN: Collaborative Interaction-Aware Multi-Agent Reinforcement Learning for Self-Driving Systems ／ Yifeng Zhang, Jieming Chen, Tingguang Zhou 他
日本語で読む → - 論文強化学習/ハイブリッド移動ロボティクス
階段状地形におけるハイブリッドロボットの省エネルギー空陸駆動学習
空中と地上の両方を移動できるハイブリッドロボットに対し、エネルギー消費を考慮した強化学習でプロペラ・車輪・チルトサーボを協調制御する単一ポリシーを学習し、シミュレーションと実機で省エネルギー効果を実証した論文。
原題: Learning Energy-Efficient Air--Ground Actuation for Hybrid Robots on Stair-Like Terrain ／ Jiaxing Li, Wen Tian, Xinhang Xu 他
日本語で読む → - 論文歩行/強化学習ロボティクス
SteadyTray: 残差強化学習による人型ロボットのトレイ運搬における物体バランス学習
人型ロボットが歩行中にトレイ上の物体を安定して運ぶための階層型強化学習フレームワークを提案し、歩行制御と物体安定化を分離することで高い成功率と実機でのゼロショット転移を実現した。
原題: SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning ／ Anlun Huang, Zhenyu Wu, Soofiyan Atar 他
日本語で読む → - 論文強化学習ロボティクス
解析的力学正則化による物理情報を活用した方策最適化
ロボット制御の強化学習に、シミュレータから得られる微分可能なラグランジュ残差を正則化項として導入し、物理的に一貫した方策学習を効率化する手法PIPERを提案した。
原題: Physics-Informed Policy Optimization via Analytic Dynamics Regularization ／ Namai Chandra, Liu Mohan, Zhihao Gu 他
日本語で読む → - 論文強化学習ロボティクス
Rainbow-DemoRL: デモンストレーション強化強化学習の改良を組み合わせる
オフラインデータを活用したオンライン強化学習のサンプル効率向上手法を3分類し、各手法の組み合わせ効果を実証的に分析した論文。
原題: Rainbow-DemoRL: Combining Improvements in Demonstration-Augmented Reinforcement Learning ／ Dwait Bhatt, Shih-Chieh Chou, Nikolay Atanasov
日本語で読む → - 論文強化学習機械学習
オフポリシー強化学習への批判的マッチ損失ランドスケープ可視化の適応
オンライン強化学習向けの批判的マッチ損失ランドスケープ可視化手法を、リプレイベースのオフポリシー強化学習（SACなど）に適応させ、批判的学習の最適化幾何学を可視化する手法を提案した。宇宙機の姿勢制御問題に適用し、収束・発散のケースで異なる幾何学的パターンを示すことを確認した。
原題: Adapting Critic Match Loss Landscape Visualization to Off-policy Reinforcement Learning ／ Jingyi Liu, Jian Guo, Eberhard Gill
日本語で読む → - 論文強化学習/四旋翼/吊下ペイロードロボティクス
ASTER: 効率的強化学習による姿勢認識型ケーブル吊下ペイロード四旋翼飛行
ケーブルで吊り下げられたペイロードを運ぶ四旋翼の自律飛行において、初めての逆さま飛行を実現する強化学習フレームワークを提案した。物理的に一貫した初期化戦略により、従来の探索では到達不能な機敏な動作を学習可能にし、シミュレーションから実機への転送も成功した。
原題: ASTER: Attitude-aware Suspended-payload Quadrotor Traversal via Efficient Reinforcement Learning ／ Dongcheng Cao, Jin Zhou, Shuo Li
日本語で読む → - 論文強化学習AI
正則化潜在ダイナミクス予測は行動基盤モデルの強力なベースラインである
ゼロショット強化学習のための状態特徴学習において、複雑な表現学習目的が本当に必要かを検証し、潜在空間での次状態予測に直交性正則化を加えたシンプルな手法RLDPが、既存の複雑な手法と同等以上の性能を達成することを示した。
原題: Regularized Latent Dynamics Prediction is a Strong Baseline For Behavioral Foundation Models ／ Pranaya Jajoo, Harshit Sikchi, Siddhant Agarwal 他
日本語で読む → - 論文強化学習機械学習
大規模強化学習におけるアンサンブル方策勾配法のポリシー多様性の再考
アンサンブル方策勾配法において、ポリシー間の多様性をKL制約で調整するCoupled Policy Optimizationを提案し、探索効率と最終性能を向上させた。
原題: Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning ／ Naoki Shitanda, Motoki Omura, Tatsuya Harada 他
日本語で読む → - 論文強化学習機械学習
SPAARS: 抽象探索と行動空間の洗練された活用による安全なRLポリシー整合
オフラインからオンラインへの強化学習において、潜在空間での安全な探索から生の行動空間での活用へと移行するカリキュラム学習フレームワークを提案し、デコーダの再構成損失による性能上限を克服する。
原題: SPAARS: Safer RL Policy Alignment through Abstract Exploration and Refined Exploitation of Action Space ／ Swaminathan S K, Aritra Hazra
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
MA-VLCM: マルチエージェントチーム設定における方針価値推定のための視覚言語批評モデル
マルチエージェント強化学習において、学習済み視覚言語モデルを微調整して中央批評家として用いることで、方針学習中の批評家学習を不要にし、サンプル効率と汎化性を向上させるフレームワークを提案した。
原題: MA-VLCM: A Vision Language Critic Model for Value Estimation of Policies in Multi-Agent Team Settings ／ Shahil Shaik, Aditya Parameshwaran, Anshul Nayak 他
日本語で読む → - 論文強化学習/自動運転ロボティクス
減衰残差方策最適化による実世界自動運転レースの効率化
残差方策学習を拡張し、ベース方策を徐々に減衰させて単独のニューラル方策を得る手法を提案し、1/10スケールの自動運転レースでシミュレーションと実機の両方で性能を向上させた。
原題: Efficient Real-World Autonomous Racing via Attenuated Residual Policy Optimization ／ Raphael Trumpp, Denis Hoornaert, Mirco Theile 他
日本語で読む →