論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/7/29 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
良いランカー、悪い目的関数：表現力豊かな方策探索下での双線形コントラスト批評家
コントラスト学習による批評家は行動のランキングには優れるが、そのスコアを最大化すると価値関数として不適切で、オフサポートの行動を選んでしまうことを示した論文。
原題: Good Rankers, Bad Objectives: Bilinear Contrastive Critics under Expressive Policy Search ／ Ayushman Singh, Siddharth Aphale
日本語で読む → - 論文強化学習機械学習
SCOUT: スパース報酬強化学習のための文脈別リセットカリキュラム
スパース報酬強化学習において、各タスク文脈に個別のリセットカリキュラムを適応的に与えるオンライン制御手法SCOUTを提案し、ナビゲーションや操作タスクで学習を改善することを示した。
原題: SCOUT: Per-Context Reset Curricula for Sparse-Reward Reinforcement Learning ／ Siddharth Aphale, Ayushman Singh
日本語で読む → - 論文強化学習AI
専門家行動事前強化学習
オンライン強化学習のサンプル効率を向上させるため、オフラインデータに依存せず、オンラインリプレイバッファから専門家ポリシー事前分布を生成するQ誘導CVAEを提案し、専門家行動ガイダンスとポリシー勾配補正を統合したアルゴリズムEBPを導入した。
原題: Expert Behavior Prior Reinforcement Learning ／ Gong Gao, Weidong Zhao, Xianhui Liu 他
日本語で読む → - 論文遠隔操作/強化学習制御
関節柔軟性と時間変動遅延を有する遠隔操作マニピュレータの制御における適応ゲイン調整のための深層強化学習
関節の柔軟性と時間変動する通信遅延を持つ遠隔操作システムに対し、安定なP+dコントローラとTD3強化学習エージェントを組み合わせ、遠隔側の比例・減衰ゲインをリアルタイム調整して振動低減と追従性能向上を実現した。
原題: Deep Reinforcement Learning for Adaptive Gain Tuning in Control of Teleoperation Manipulators with Joint Flexibility and Time-Varying Delays ／ Armin Attarzadeh, Mohammad Ali Ghaemifar, Alireza Khanzadeh 他
日本語で読む → - 論文強化学習機械学習
階層的アクションチャンキングを用いたオフライン強化学習
オフライン目標条件付き強化学習において、高レベルの潜在プランニングと低レベルのアクションチャンキングを組み合わせたHiQCを提案し、長期的タスクでの価値推定誤差を低減して性能を向上させた。
原題: Offline RL with Hierarchical Action Chunking ／ Ahad Jawaid
日本語で読む → - 論文強化学習AI
環境・エージェント・結合系のワールドモデル
モデルベース強化学習におけるワールドモデルを、予測するチャネル（環境、エージェント、結合系）に基づいて分類し、計算力学を用いて各チャネルの正準モデルを定義した。
原題: World models of environment, agent and joint agent-environment systems ／ Manuel Baltieri, Filippo Torresan, Yivan Zhang 他
日本語で読む → - 論文強化学習機械学習
能動的推論を凸マルコフ決定過程として捉える
能動的推論（AIF）の期待自由エネルギー最小化を、閉ループ制御ポリシーに対して凸マルコフ決定過程（MDP）として定式化し、鏡像降下アルゴリズムを導出した。
原題: Active Inference as a Convex Markov Decision Process ／ Nikola Milosevic, Nicolás Hinrichs, Nico Scherf
日本語で読む → - 論文マルチエージェント強化学習cs.MA
Dreamer-CPC: 世界モデルを用いたメッセージ学習による分散型マルチエージェント強化学習
分散型マルチエージェント強化学習において、世界モデルの潜在状態からメッセージを生成する手法を提案し、観測が欠落するタスクで既存手法を大きく上回る性能を達成した。
原題: Dreamer-CPC: Message Learning with World Models for Decentralized Multi-agent Reinforcement Learning ／ Taisuke Takayama, Naoto Yoshida, Tadahiro Taniguchi
日本語で読む → - 論文強化学習機械学習
関係性を持つ隠れ状態による強化学習における創発的計画行動
モデルフリー強化学習において、環境状態に紐づく関係性を持つ隠れ状態のネットワークが、学習された関係を通じて計画機構を獲得することを示した論文。
原題: Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States ／ Armin Sommer
日本語で読む → - 論文世界モデル/強化学習画像認識
PAVXploreRL: 行動探索を伴う物理・行動・視覚の世界モデル強化学習
事前学習済みの潜在世界モデルに強化学習を適用し、物理的妥当性・行動追従性・視覚的忠実性を明示的に最適化することで、専門家データ外の行動への汎化を改善する手法を提案した。
原題: PAVXploreRL: Physical-Action-Visual World Model Reinforcement Learning with Action Exploration ／ Han Wang, Zijun Wang, Shuoshuo Xue 他
日本語で読む → - 論文モデルベース強化学習/安全制御機械学習
世界からのフィードバックから学ぶ：モデルベース強化学習においてモデルの不確実性がリスクシグナルとして機能しない理由
モデルベース強化学習の安全制御において、モデル内部の不確実性をリスク指標として使うと衝突率が悪化することを示し、センサー由来のマージンや衝突ラベルから学習したフィードバックモデルなど、世界からのフィードバック信号を用いることで衝突率を大幅に低減できることを実証した論文。
原題: Learning from World Feedback: Why Model Uncertainty Fails as a Risk Signal in Model-Based RL ／ Zhaohui Wang
日本語で読む → - 論文強化学習/表現学習機械学習
強化学習のための因子分解スペクトル表現
遷移カーネルを3モードテンソルとみなし、CP分解とノイズ対比学習で状態・行動・次状態のエンコーダを学習する手法FaStRを提案。表現学習に必要なサンプル数を削減し、高次元の移動タスクで効果を発揮する。
原題: Factorized Spectral Representations for Reinforcement Learning ／ Junyi Wu, Dan Li
日本語で読む → - 論文強化学習機械学習
DAGR: 状態条件付き目標表現と差分認識型目標クロスアテンション
目標条件付き強化学習において、現在の状態を考慮しない従来の目標表現を、マルチスケールのゲート付きクロスアテンションで状態条件付きに改良する手法DAGRを提案した。ナビゲーションタスクで性能が向上するが、操作やパズルではベースラインと同等以下であり、普遍的な改善ではないことを示した。
原題: DAGR: State-Conditioned Goal Representations via Difference-Aware Goal Cross-Attention ／ Xing Lei, Wenyan Yang, Xuetao Zhang 他
日本語で読む → - 論文強化学習AI
人間の選好と正当化に基づくワールドモデルを用いた安全なエージェント行動の学習
未知の環境で報酬関数が使えない安全重視のタスクに対し、人間の選好とその理由（正当化）を活用して報酬モデルを学習し、ワールドモデルとモデル予測制御で安全な方策を直接展開する手法DROPJを提案した。
原題: Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models ／ Ilias Kazantzidis, Timothy J. Norman, Yali Du 他
日本語で読む → - 論文VLA/強化学習機械学習
少ないデータから多くを学ぶ：後知恵からの強化学習
VLAモデルの強化学習後訓練において、失敗したロールアウトを実際に達成したタスクに再ラベル付けする「後知恵からの学習」を提案し、サンプル効率を5倍向上させた。
原題: Learning More from Less: Reinforcement Learning from Hindsight ／ Iris Xu, Sunshine Jiang, John Marangola 他
日本語で読む → - 論文強化学習/探索機械学習
プロンプト駆動探索
ロボット操作や推論タスクにおいて、報酬が得られない初期状態からでも、視覚言語モデルがロールアウト動画を分析してプロンプトを書き換えることで探索を促進し、強化学習の成功を可能にする手法を提案した。
原題: Prompt-Driven Exploration ／ Sunshine Jiang, John Marangola, David Zhang 他
日本語で読む → - 論文強化学習機械学習
安全探索：リカバリ介入付き強化学習のための不偏混合方策勾配
安全領域外でリカバリ方策に切り替える際の混合方策バイアスを、スコア関数のみを用いた不偏勾配推定で解消するPPO拡張を提案し、転倒を大幅に削減した。
原題: SafeExplorer: An Unbiased Mixed-Policy Gradient for Reinforcement Learning with Recovery Interventions ／ Elham Daneshmand, Majid Khadiv, Glen Berseth 他
日本語で読む → - 論文強化学習機械学習
強化学習エージェントにおける障害様表現型のトランス診断空間
強化学習エージェントに認知評価信号を操作して7つの心理障害（不安、躁病、強迫性チェック、うつ、衝動性、依存症、PTSD）を誘発し、用量反応関係や障害間の相互作用を分析した研究。
原題: A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents ／ Hari Prasad
日本語で読む → - 論文VLA/強化学習機械学習
大規模視覚言語行動モデルにおける効率的かつ汎用的な強化学習のためのオフライン教師信号の活用
オフライン教師信号を強化学習に組み込むことで、OOD性能を保ちつつ学習効率を約2倍に向上させるハイブリッド手法を提案・評価した。
原題: Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models ／ Dmitriy Poyarkov, Aleksei Staroverov, Aleksandr I. Panov
日本語で読む → - 論文強化学習AI
拡散ガイドによる不確実性を考慮した遅延ポリシー最適化
強化学習における遅延フィードバックによる性能劣化を解決するため、拡散モデルで遅延状態と現在状態の関係をモデル化し、その不確実性を重み付けに利用する新しい手法を提案した。
原題: Diffusion-Guided Uncertainty-Aware Delayed Policy Optimization ／ Junqi Tu, Zejiao Liu, Fangfei Li 他
日本語で読む → - 論文VLA/強化学習AI
VLA Grounder: ブラックボックスVLAモデルのための言語条件付け空間最適化
凍結されたVLAモデルの動作を改善するため、人間の指示をVLAに適したコマンドへ変換する言語条件付け空間ポリシーを強化学習で最適化する手法を提案。
原題: VLA Grounder: Language-Conditioning Space Optimization for Black-Box VLA Models ／ Damir Shodiev, Aleksei Staroverov, Nikita Kachaev 他
日本語で読む → - 論文世界モデル/強化学習機械学習
エージェント探索と構造化モデリングの相乗効果によるタスク十分な世界モデルの学習
エージェントが環境を能動的に探索してタスク関連情報を収集し、そのデータからタスクに必要な最小限の表現を世界モデルで学習することで、サンプル効率と汎化性能を向上させる手法を提案した。
原題: Learning Task-Sufficient World Models by Synergizing Agentic Exploration and Structured Modeling ／ Fan Feng, Yujia Zheng, Minghao Fu 他
日本語で読む → - 論文コード生成/強化学習機械学習
DecompRL: モジュール型コード生成の学習による難問解決
LLMが解けない問題を、問題を小さなモジュールに分解して再結合することで解く強化学習アルゴリズムDecompRLを提案。GPUコストを約50倍削減し、標準的な生成では解けない問題を解決する。
原題: DecompRL: Solving Harder Problems by Learning Modular Code Generation ／ Juliette Decugis, Fabian Gloeckle, Francis Bach 他
日本語で読む → - 論文強化学習/UAV着陸ロボティクス
WaveLander: 波浪擾乱プラットフォームへのUAV着陸のための強化学習による汎用階層制御フレームワーク
波浪で動く船舶プラットフォームへのUAV自律着陸を、強化学習で垂直着陸判断と低レベル飛行安定化を分離した階層制御で実現し、未見の擾乱条件にも汎化することを示した論文。
原題: WaveLander: A Generalizable Hierarchical Control Framework for UAV Landing on Wave-Disturbed Platforms via Reinforcement Learning ／ Chun-Kit Li, Iok Long Sit, Ming Fung Siu 他
日本語で読む → - 論文VLA/強化学習ロボティクス
WCM: 視覚・言語・行動強化学習のためのワールドクリティックモデル
ロボット操作のためのVLAモデルの強化学習後訓練において、観測履歴を扱うクリティックの表現が時間的ダイナミクスを捉えられない問題を解決するため、将来の潜在状態を予測しつつ価値を推定する軽量なWorld Critic Modelを提案した。
原題: WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning ／ Senyu Fei, Xiaopeng Yu, Siyin Wang 他
日本語で読む → - 論文水中ロボット/強化学習/sim2realロボティクス
CORAL-AUV: CFD指向の強化学習による自律型水中ビークル制御
CFDデータから学習したサロゲート抗力モデルを強化学習に組み込み、実機の6自由度AUVにゼロショットで適用可能な制御ポリシーを初めて実証した。従来の簡易物理モデルと比較して、エネルギー消費31%削減、移動時間11%短縮、誤差19%低減を達成した。
原題: CORAL-AUV: CFD Oriented Reinforcement Learning for Autonomous Underwater Vehicles ／ Steven Roche, Milo Van Mooy, Nathan McGuire 他
日本語で読む → - 論文触覚/強化学習ロボティクス
OmniTacTune: 視覚ポリシーへの触覚残差適応のためのポリシー非依存な実世界強化学習
事前学習済みの視覚ポリシーに触覚フィードバックを残差補正として適応させる、ポリシー非依存の実世界RLパイプラインを提案。接触を伴う多様なタスクで成功率を大幅に向上させる。
原題: OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies ／ Kelin Yu, Haode Zhang, Harish Ravichandar 他
日本語で読む → - 論文シミュレーション/縫合/強化学習ロボティクス
位置ベース動力学と物質点法を用いたロボット強化学習のための外科縫合シミュレーション
縫合糸を位置ベース動力学(PBD)、軟組織を物質点法(MPM)でモデル化し、双方向接触を考慮した縫合シミュレーション環境を構築し、強化学習エージェントによる針挿入・抜去タスクの学習を実現した。
原題: Simulation of Surgical Suturing Using Position-Based Dynamics and the Material Point Method for Robot Reinforcement Learning ／ Tleukhan Mussin, Yafei Ou, Mahdi Tavakoli
日本語で読む → - 論文多目的強化学習AI
LEMUR: 嗜好フィードバックを用いた多目的強化学習によるアライメント学習
複数の競合する目的を持つタスクにおいて、複数の人間の嗜好フィードバックから報酬モデルと方策を同時に学習する新しいフレームワークを提案し、ベンチマークタスクで優れた性能を示した。
原題: LEMUR: Learning to Align with Multi-Objective Reinforcement Learning from Preference Feedback ／ Manith Adikari, Bei Peng, Samuele Vinanzi 他
日本語で読む → - 論文強化学習/制御ロボティクス
アクチュエータ動力学を考慮した物理認識型エンドツーエンド深層強化学習によるクアッドコプター制御
クアッドコプターの低レベル制御に、アクチュエータの遅れや空力モーメントを考慮した高忠実度シミュレータを用いたエンドツーエンド深層強化学習を適用し、DDPG、TD3、PPO、SACの性能を比較した。
原題: Physics-Aware End-to-End Deep Reinforcement Learning for Quadcopter Control with Actuator Dynamics ／ Ya-Chia Shen, Woei-Leong Chan
日本語で読む →