論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/5/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/制御ロボティクス
強化学習によるクアッドローターの適応型アウターループ制御
クアッドローターの飛行制御に強化学習を適用し、外乱を推定する残差ダイナミクス予測器と実機転送のための校正機構を導入して、動的擾乱下でも高精度な軌道追従を実現した。
原題: Adaptive Outer-Loop Control of Quadrotors via Reinforcement Learning ／ Vishnu Saj, Sushil Vemuri, Dileep Kalathil 他
日本語で読む → - 論文強化学習AI
RankQ: 自己教師ありアクションランキングによるオフラインからオンラインへの強化学習
オフラインからオンラインへの強化学習において、時間差学習に自己教師ありのランキング損失を追加し、アクションの相対的な好みを学習することで、価値関数の過大評価を抑えつつ、より高品質な行動への改善を促進する手法RankQを提案した。
原題: RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking ／ Andrew Choi, Wei Xu
日本語で読む → - 論文ロボット学習/強化学習ロボティクス
TMRL: 拡散タイムステップ変調による事前学習が効率的なポリシー微調整のための探索を可能にする
ロボットポリシーの事前学習と強化学習による微調整を橋渡しする統一フレームワークを提案。事前学習時に拡散ノイズを注入し、微調整時にタイムステップを動的調整することで探索を制御し、複雑な操作タスクの実機微調整を1時間以内で成功させる。
原題: TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning ／ Matthew M. Hong, Jesse Zhang, Anusha Nagabandi 他
日本語で読む → - 論文安全強化学習機械学習
サンプリングに基づく安全強化学習
モデルベース強化学習において、動的モデルの不確かさを有限サンプルで近似し、学習中の安全性を保証するアルゴリズムを提案した。シミュレーションと実ロボットで安全な探索を実証した。
原題: Sampling-Based Safe Reinforcement Learning ／ Luca Vignola, Bruce D. Lee, Manish Prajapat 他
日本語で読む → - 論文強化学習機械学習
適応チャンクサイズのアクタークリティックと因果トランスフォーマーQネットワーク
強化学習における長期的・疎報酬タスク向けに、チャンクサイズを状態に応じて適応的に選択するアクタークリティック法を提案し、オフラインおよびオフラインからオンラインへの設定で最先端性能を達成した。
原題: ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network ／ Qian Chen, Junqiao Zhao, Hongtu Zhou 他
日本語で読む → - 論文自動運転/強化学習機械学習
CRAFT: 運転ポリシーのための反事実からインタラクティブへの強化学習ファインチューニング
閉ループ運転ポリシーの事後学習を、反事実的利点をプロキシとして使い、実閉ループ利点との残差補正で整合させるオン方策強化学習フレームワークを提案した。
原題: CRAFT: Counterfactual-to-Interactive Reinforcement Fine-Tuning for Driving Policies ／ Keyu Chen, Nanfei Ye, Yida Wang 他
日本語で読む → - 論文強化学習/飛行制御ロボティクス
AcroRL: 双方向推力を用いたアグレッシブなクアッドローター反転飛行の学習
双方向推力を持つクアッドローターの反転飛行を強化学習で実現するフレームワークを提案し、シミュレーションと実機で性能を実証した。
原題: AcroRL: Learning Aggressive Quadrotor Inversion using Bidirectional Thrust ／ Gabriel Rodriguez, Henri Sayag, Abhishek Rathod 他
日本語で読む → - 論文VLA/強化学習機械学習
結果が分岐する箇所を学習する：確率的チャンクマスキングによる効率的なVLA強化学習
VLAポリシーの強化学習において、勾配計算が時間の大部分を占める問題に対し、軌道内で成功と失敗が分岐するフェーズのみに勾配計算を割り当てる確率的チャンクマスキング（PCM）を提案した。
原題: Learn Where Outcomes Diverge: Efficient VLA RL via Probabilistic Chunk Masking ／ Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma
日本語で読む → - 論文強化学習ロボティクス
階層的マクロ行動量子化による強化学習エージェントの人間らしさ向上
人間のデモンストレーションを階層的なベクトル量子化でマクロ行動に符号化し、報酬を最大化しつつ人間らしい行動系列を予測する強化学習フレームワークHiMAQを提案した。
原題: Enhancing Human-Likeness in Reinforcement Learning Agents via Hierarchical Macro Action Quantization ／ Usman Nizamani, M. Shaheer Luqman, Fawad Javed Fateh 他
日本語で読む → - 論文VLA/強化学習/巧緻操作ロボティクス
BORA: オフライン強化学習とオンライン残差適応を橋渡しする実世界巧緻操作VLAモデル
実世界の巧緻操作向けに、オフライン学習で価値関数を構築し、オンラインで人間介入による残差適応を行うVLAモデルの後訓練フレームワークを提案した。
原題: BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models ／ Zhongxi Chen, Yifan Han, Yanming Shao 他
日本語で読む → - 論文強化学習/スタント制御ロボティクス
LineRides: ライン誘導型強化学習による自転車ロボットのスタント動作獲得
ユーザーが指定した空間的なガイドラインと疎なキー姿勢のみから、デモなしで自転車ロボットに多様なスタント動作を学習させるフレームワークを提案した。
原題: LineRides: Line-Guided Reinforcement Learning for Bicycle Robot Stunts ／ Seungeun Rho, Shamel Fahmi, Jeonghwan Kim 他
日本語で読む → - 論文強化学習機械学習
動的デカップリング球面ラジアルスカッシングに基づく制約強化強化学習
アクチュエータごとに異なる速度制約を正確に扱うため、位置適応型半径を独立に計算するDD-SRad法を提案し、制約違反ゼロで高いタスク報酬を達成した。
原題: Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing ／ Qijun Liao, Zhaoxin Yu, Jue Yang
日本語で読む → - 論文強化学習機械学習
適応的Qチャンキングによるオフラインからオンラインへの強化学習
オフラインからオンラインへの強化学習において、状態ごとに最適なアクションチャンクサイズを適応的に選択する手法を提案し、固定サイズの既存手法より高い成功率を達成した。
原題: Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning ／ Nandiraju Gireesh, Yuanliang Ju, He Wang
日本語で読む → - 論文強化学習機械学習
EfficientTDMPC: サンプル効率的な連続制御のための改良MPC目的関数
TD-MPC系アルゴリズムを基に、モデルアンサンブルと不確実性ペナルティを導入し、データ鮮度向上と計算削減を加えることで、サンプル効率を大幅に改善したモデルベース強化学習手法を提案した。
原題: EfficientTDMPC: Improved MPC Objectives for Sample-Efficient Continuous Control ／ Thomas Evers, Cristian Meo, Wendelin Bohmer 他
日本語で読む → - 論文強化学習機械学習
マインドドリーマー：潜在多様体への能動的因果介入による想像力の解放
モデルベース強化学習において、観測状態からではなく生成的初期状態から想像を開始することで、歴史的束縛を打破し、探索と報酬最適化の非対称性を解消する新しいフレームワークを提案した。
原題: Mind Dreamer: Untethering Imagination via Active Causal Intervention on Latent Manifolds ／ Shaojun Xu, Xiaoling Zhou, Yihan Lin 他
日本語で読む → - 論文強化学習機械学習
分位点結合フローマッチングによる分布強化学習
分布強化学習における条件付きフローマッチング批判器の損失がワッサーシュタイン距離と整合しない問題を解決するため、ソースとベルマン目標サンプルを分位点で整列させるFlowIQNを提案した。
原題: Quantile-Coupled Flow Matching for Distributional Reinforcement Learning ／ Michael Groom, Victor-Alexandru Darvariu, Lars Kunze 他
日本語で読む → - 論文強化学習/ロコモーションロボティクス
ARC-RL: ARC Raidersに着想を得た強化学習プレイグラウンド
ゲームNPC向けの多様なロボット形態（ヘキサポッドや四足など）を備えたMuJoCo連続制御環境スイートを構築し、統一報酬関数とCPGデモを提供して、オンラインおよびオフラインからオンラインへの強化学習アルゴリズムを比較評価した。
原題: ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders ／ Carlo Romeo, Andrew D. Bagdanov
日本語で読む → - 論文触覚/強化学習/sim2realロボティクス
触覚スキンを用いた2本指間での小物体の制御分離の学習
多目的ロボットハンドの2本指で小物体を掴み、触覚のみを用いて所望の個数だけ指間に残す制御分離タスクを提案・解決した。強化学習をシミュレーションで訓練し、実機への転送も成功させた。
原題: Learning Controlled Separation of Small Objects Between Two Fingers with a Tactile Skin ／ Ulf Kasolowsky, Berthold Bäuml
日本語で読む → - 論文強化学習/制御ロボティクス
滑らかな連続制御のための暗黙的アクションチャンキング
強化学習の高周波振動制御問題を解決するため、実行ウィンドウと価値ウィンドウの二重設計による暗黙的アクションチャンキング手法DWSを提案し、滑らかで安全な制御を実現した。
原題: Implicit Action Chunking for Smooth Continuous Control ／ Bosun Liang, Shuo Pei, Zirui Chen 他
日本語で読む → - 論文強化学習/転移学習ロボティクス
カスタムカーレース環境のための転移学習
深層強化学習において、あるサーキットで訓練したエージェントを別のカスタム環境に転移させ、ゼロショット転移や微調整で速いラップタイムを達成する手法を探求した。モデルベース手法がモデルフリー手法より性能と収束速度で優れることを示した。
原題: Transfer Learning for Customized Car Racing Environments ／ Benedict Florance Arockiaraj, Richard Chang, Wesley Yee
日本語で読む → - 論文強化学習AI
D-VLA: 視覚言語行動モデルのための高並列分散非同期強化学習フレームワーク
大規模VLAモデルへの強化学習適用時のリソース競合を解決するため、物理分離と非同期パイプラインを備えた分散RLフレームワークD-VLAを提案し、スループットとサンプリング効率を大幅に向上させた。
原題: D-VLA: A High-Concurrency Distributed Asynchronous Reinforcement Learning Framework for Vision-Language-Action Models ／ Yucheng Guo, Yongjian Guo, Zhong Guan 他
日本語で読む → - 論文強化学習/操作ロボティクス
ハイブリッド接触ダイナミクス下での物理情報を活用した目標条件付き強化学習
接触を伴う操作タスクで物理情報を活用した目標条件付き強化学習(Pi-GCRL)が劣化する問題を分析し、接触を考慮した階層的定式化を提案して性能を改善した。
原題: Physics-informed Goal-Conditioned Reinforcement Learning under Hybrid Contact Dynamics ／ Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi
日本語で読む → - 論文逆強化学習機械学習
信頼領域逆強化学習：局所方策更新を用いた明示的双対上昇法
逆強化学習において、毎回RL問題を完全に解くことなく、信頼領域制約付きの局所更新で双対目的を明示的に最適化する手法を提案し、安定性と単調改善を両立した。
原題: Trust Region Inverse Reinforcement Learning: Explicit Dual Ascent using Local Policy Updates ／ Anish Diwan, Davide Tateo, Christopher E. Mower 他
日本語で読む → - 論文強化学習/歩行ロボティクス
外部力誘導カリキュラム学習による動的運動の学習
スポッティングに着想を得た外部補助力を訓練中に導入し、報酬設計や参照軌道なしで動的全身体運動の学習を加速・可能にする手法を提案した。
原題: EFGCL: Learning Dynamic Motion through Spotting-Inspired External Force Guided Curriculum Learning ／ Keita Yoneda, Kento Kawaharazuka, Kei Okada
日本語で読む → - 論文強化学習/システムアーキテクチャロボティクス
UniLab: GPU中心パラダイムを超えたロボット強化学習のためのヘテロジニアスアーキテクチャ
CPUシミュレーションとGPU学習を分離したヘテロジニアスな強化学習システムUniLabを提案し、GPUシミュレーションに依存せずに3〜10倍の学習効率向上を実証した。
原題: UniLab: A Heterogeneous Architecture for Robot RL Beyond GPU-Dominant Paradigms ／ Yufei Jia, Zhanxiang Cao, Mingrui Yu 他
日本語で読む → - 論文自動運転/強化学習/sim2realロボティクス
効率的かつ転移可能な制御学習のためのダイナミクス蒸留
高忠実度シミュレータのダイナミクスを並列化可能な学習モデルに蒸留し、その中で強化学習を行って元のシミュレータへ展開するSim2Sim2Simフレームワークを提案した。
原題: Dynamics Distillation for Efficient and Transferable Control Learning ／ Xunjiang Gu, Kashyap Chitta, Mahsa Golchoubian 他
日本語で読む → - 論文強化学習/視覚ロボティクス
確率的分離ポリシー勾配による効率的なオンポリシー視覚強化学習
軌道ロールアウトのランダム摂動でポリシー勾配を推定し、単一GPUで数時間の学習を実現する軽量な視覚強化学習手法SDPGを提案。視覚MuJoCoベンチマークで既存手法より高速・低メモリ・高報酬を達成し、実機へのsim-to-real転送も実証した。
原題: Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient ／ Haoxiang You, Yilang Liu, Davis Zong 他
日本語で読む → - 論文強化学習機械学習
オフダイナミクス強化学習のためのクロスドメインエネルギー誘導拡散生成
遷移ダイナミクスが異なる環境間で、ソースデータセットからターゲット領域のポリシーを学習する際に、エネルギー誘導を用いて軌道レベルの拡散生成を行い、ターゲット領域に適応した合成データを生成する手法CEDGEを提案した。
原題: Cross-Domain Energy-Guided Diffusion Generation for Off-Dynamics Reinforcement Learning ／ Yu Yang, Yihong Guo, Anqi Liu 他
日本語で読む → - 論文マルチエージェント強化学習AI
調整には時としてランダム性が必要である
協調マルチエージェント強化学習において、対称な観測下で決定的方策が役割分化できない問題を、エージェントごとに乱数をサンプリングして順位付けし注意をマスクするDiamond Attentionで解決し、ゼロショット転移を実現した。
原題: Randomness is sometimes necessary for coordination ／ Rohan Patil, Jai Malegaonkar, Henrik I. Christensen
日本語で読む → - 論文強化学習/着陸ロボティクス
荒れた海面への視覚に基づく機敏な着陸
強化学習を用いて、移動する海上プラットフォームへのマルチローターの自律着陸を、プラットフォームの状態推定なしで視覚特徴のみから実現する手法を提案した。
原題: Vision-Based Agile Landing on Turbulent Waters ／ Dimosthenis Angelis, Leonard Bauersfeld, Davide Scaramuzza 他
日本語で読む →