論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/11/10 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/世界モデル機械学習
注目を学ぶ：部分観測強化学習における構造的注意機構による情報履歴の優先
Transformerベースの世界モデルにガウス分布的な注意の事前分布を導入し、部分観測下の強化学習で重要な遷移に柔軟に注目させることで性能を大幅に改善した。
原題: Learning to Focus: Prioritizing Informative Histories with Structured Attention Mechanisms in Partially Observable Reinforcement Learning ／ Daniel De Dios Allegue, Jinke He, Frans A. Oliehoek
日本語で読む → - 論文物体中心強化学習機械学習
物体中心強化学習のためのインタラクティブ世界モデル学習
物体とその相互作用を構造化して表現する世界モデルを提案し、階層的方策と組み合わせることで、サンプル効率と汎化性能を向上させた。
原題: Learning Interactive World Model for Object-Centric Reinforcement Learning ／ Fan Feng, Phillip Lippe, Sara Magliacane
日本語で読む → - 論文強化学習機械学習
Dyna-Q強化学習のための予測型安全シールド
モデルベース強化学習において、安全な予測に基づいてQ関数を局所更新する安全シールドを提案し、安全性を保ちつつ性能を向上させる。
原題: Predictive Safety Shield for Dyna-Q Reinforcement Learning ／ Jin Pin, Krasowski Hanna, Vanneaux Elena
日本語で読む → - 論文V2X/マルチエージェント強化学習ロボティクス
Z-Merge: ゾーン別V2X情報を活用したマルチエージェント強化学習による合流制御
路側機からのゾーン別グローバル情報をV2X通信で共有し、マルチエージェント強化学習で自動運転車の合流を制御する枠組みを提案。合流成功率・交通効率・安全性を向上させる。
原題: Z-Merge: Multi-Agent Reinforcement Learning for On-Ramp Merging with Zone-Specific V2X Traffic Information ／ Yassine Ibork, Myounggyu Won, Lokesh Das
日本語で読む → - 論文強化学習ロボティクス
SAC-MoE：不確実性を伴うハイブリッド力学系の制御のためのMixture-of-Expertsを用いた強化学習
ハイブリッド力学系の制御において、潜在モードと切替えの不確実性に対処するため、SACのアクターをMixture-of-Expertsでモデル化し、カリキュラム学習で訓練する手法を提案。未見環境へのゼロショット汎化性能を最大6倍向上させた。
原題: SAC-MoE: Reinforcement Learning with Mixture-of-Experts for Control of Hybrid Dynamical Systems with Uncertainty ／ Leroy D'Souza, Akash Karthikeyan, Yash Vardhan Pant 他
日本語で読む → - 論文ヒューマノイド/強化学習ロボティクス
ヒューマノイドロボットのための視覚駆動型リアクティブサッカースキルの学習
視覚知覚と運動制御を直接統合した強化学習コントローラを提案し、ヒューマノイドロボットが実環境でリアクティブなサッカースキルを獲得できるようにした。
原題: Learning Vision-Driven Reactive Soccer Skills for Humanoid Robots ／ Yushi Wang, Changsheng Luo, Penghui Chen 他
日本語で読む → - 論文逆強化学習ロボティクス
Masked IRL: LLMによるデモンストレーションと言語からの報酬曖昧性解消
言語指示から状態の重要度マスクを推定し、LLMで曖昧な指示を明確化することで、少ないデータで報酬関数を学習する手法を提案。
原題: Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language ／ Minyoung Hwang, Alexandra Forsey-Smerek, Nathaniel Dennler 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
夢見るファルコン：クアッドコプターのための物理情報に基づくモデルベース強化学習
クアッドコプターの制御にDreamerを適用する際、物理情報を組み込んだ世界モデルを提案し、標準的なRNNベースのモデルと比較した。
原題: Dreaming Falcon: Physics-Informed Model-Based Reinforcement Learning for Quadcopters ／ Eashan Vytla, Bhavanishankar Kalavakolanu, Andrew Perrault 他
日本語で読む → - 論文目標条件付き強化学習機械学習
スケーラブルな目標条件付き強化学習のためのマルチステップ準距離学習
マルチステップモンテカルロリターンを用いて準距離を学習するオフライン目標条件付き強化学習手法を提案し、長期的な視覚タスクや実世界のロボット操作で有効性を示した。
原題: Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning ／ Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach 他
日本語で読む → - 論文強化学習機械学習
オンライン相互作用を用いた分布ロバストなオフダイナミクス強化学習のサンプル複雑度
訓練環境と展開環境の動学が異なる状況で、オンライン相互作用のみを用いたロバスト強化学習のサンプル複雑度を解析し、最適な後悔界を達成する効率的アルゴリズムを提案した。
原題: Sample Complexity of Distributionally Robust Off-Dynamics Reinforcement Learning with Online Interaction ／ Yiting He, Zhishuai Liu, Weixin Wang 他
日本語で読む → - 論文モデルベース強化学習機械学習
世界モデルを用いたオフポリシー・ブートストラップ強化学習
世界モデルでプランナーを学習し、その行動をオフポリシー学習で方策に蒸留するブートストラップループにより、サンプル効率と性能を両立させる手法BOOMを提案。
原題: Bootstrap Off-policy with World Model ／ Guojian Zhan, Likun Wang, Xiangteng Zhang 他
日本語で読む → - 論文強化学習機械学習
有界サポート進化戦略による方策改善
有界な三角分布ノイズと中心化ランク有限差分推定を組み合わせたTD-ESを提案し、PPO事前学習後の方策改善で成功率を26.5%向上させた。
原題: Harnessing Bounded-Support Evolution Strategies for Policy Refinement ／ Ethan Hirschowitz, Fabio Ramos
日本語で読む → - 論文強化学習機械学習
LLMを活用した強化学習制御タスクの報酬関数設計
システムとタスクのテキスト記述から報酬関数を自律生成・評価するLLMベースのフレームワークLEARN-Optを提案し、事前知識なしでEUREKAに匹敵する性能を実現した。
原題: Leveraging LLMs for reward function design in reinforcement learning control tasks ／ Franklin Cardenoso, Wouter Caarls
日本語で読む → - 論文マルチタスク強化学習機械学習
大規模マルチタスク世界モデルによる連続制御の学習
200の多様なタスクで言語条件付き世界モデルを事前学習し、オンライン強化学習で微調整することで、マルチタスク性能とデータ効率を向上させた研究。
原題: Learning Massively Multitask World Models for Continuous Control ／ Nicklas Hansen, Hao Su, Xiaolong Wang
日本語で読む → - 論文強化学習/目標生成ロボティクス
物理法則に基づく目標想像：自己教師あり強化学習のための物理情報変分オートエンコーダ
物理制約をVAEの学習に組み込み、物体の力学と外観を分離した潜在空間で物理的に実現可能な目標を生成するPI-RIGを提案し、自己教師あり強化学習の探索と技能獲得を改善した。
原題: Physically-Grounded Goal Imagination: Physics-Informed Variational Autoencoder for Self-Supervised Reinforcement Learning ／ Lan Thi Ha Nguyen, Kien Ton Manh, Anh Do Duc 他
日本語で読む → - 論文飛行/強化学習ロボティクス
点群から動作へ：動的障害物環境を流れ支援で飛行する
LiDARの点群から環境変化を捉える点流れを抽出し、強化学習で動的障害物を回避する自律飛行システムを構築した。
原題: Flow-Aided Flight Through Dynamic Clutters From Point To Motion ／ Bowen Xu, Zexuan Yan, Minghao Lu 他
日本語で読む → - 論文オフライン強化学習機械学習
価値条件付き最適化による拡散ポリシーを用いたオフライン強化学習
オフライン強化学習において、拡散モデルをアドバンテージ値で重み付けして訓練し、高リターン行動を選択的に拡張することで、保守性と探索性のバランスを取る手法DIVOを提案した論文。
原題: Diffusion Policies with Value-Conditional Optimization for Offline Reinforcement Learning ／ Yunchang Ma, Tenglong Liu, Yixing Lan 他
日本語で読む → - 論文ソフトロボティクス/強化学習ロボティクス
ソフトロボットアームの集中型・分散型強化学習制御の定量的比較
Cosseratロッドでモデル化したソフトロボットアームの制御において、集中型PPOと分散型MAPPOを制御区分数nを変えながら比較し、nが小さい場合は集中型、nが大きい場合は分散型がサンプル効率やロバスト性で優れることを示した。
原題: A Quantitative Comparison of Centralised and Distributed Reinforcement Learning-Based Control for Soft Robotic Arms ／ Linxin Hou, Qirui Wu, Zhihang Qin 他
日本語で読む → - 論文強化学習ロボティクス
統一的な表現力豊かな方策最適化による堅牢なロボット学習に向けて
大規模言語モデルの事前学習・微調整に着想を得た生成フレームワークUEPOを提案し、マルチモーダル行動の獲得とオンライン適応時の分布シフトに対処して、D4RLベンチマークで移動・巧みな操作タスクの性能を大幅に向上させた。
原題: Opinion: Towards Unified Expressive Policy Optimization for Robust Robot Learning ／ Haidong Huang, Haiyue Zhu. Jiayu Song, Xixin Zhao 他
日本語で読む → - 論文強化学習機械学習
一次ソボレフ強化学習
価値関数の値だけでなく状態・行動に対する微分もベルマンターゲットに一致させるソボレフ型損失を導入し、批評家の収束を速め方策勾配を安定化させるTD学習の改良を提案。
原題: First-order Sobolev Reinforcement Learning ／ Fabian Schramm, Nicolas Perrin-Gilbert, Justin Carpentier
日本語で読む → - 論文強化学習機械学習
セマンティックセグメンテーションによる3D環境での強化学習の強化：ViZDoomでのケーススタディ
ViZDoomのデスマッチで、RGB画像にセマンティックセグメンテーションを適用した入力表現（SSのみ、RGB+SS）を提案し、メモリ消費の削減と性能向上を実証した。
原題: Enhancing Reinforcement Learning in 3D Environments through Semantic Segmentation: A Case Study in ViZDoom ／ Jin Huang
日本語で読む → - 論文強化学習ロボティクス
ベビー・ソフィア：自己接触と手の注視による自己探求の発達的アプローチ
乳児の発達に着想を得て、強化学習によりロボットが自己接触と手の注視を自律的に学習するフレームワークを提案し、好奇心ベースの内的報酬だけで協調的なマルチモーダル学習が可能なことを示した。
原題: Baby Sophia: A Developmental Approach to Self-Exploration through Self-Touch and Hand Regard ／ Stelios Zarifis, Ioannis Chalkiadakis, Artemis Chardouveli 他
日本語で読む → - 論文強化学習AI
行動量子化と軌道最適化による人間らしい強化学習エージェントの学習
人間のデモをベクトル量子化VAEでマクロ行動に蒸留し、軌道最適化として人間らしさを定式化することで、報酬最大化と人間類似行動を両立する強化学習フレームワークMAQを提案した。
原題: Learning Human-Like RL Agents Through Trajectory Optimization With Action Quantization ／ Jian-Ting Guo, Yu-Cheng Chen, Ping-Chun Hsieh 他
日本語で読む → - 論文経路計画/マルチエージェント強化学習ロボティクス
動的環境におけるマルチエージェント強化学習による経路計画
環境変化が局所的に起こる動的環境で、領域分割と分散強化学習エージェントにより経路計画を行う手法を提案し、連合Q学習が単一エージェントを上回ることを示した。
原題: Path Planning through Multi-Agent Reinforcement Learning in Dynamic Environments ／ Jonas De Maeyer, Hossein Yarahmadi, Moharram Challenger
日本語で読む → - 論文逆強化学習機械学習
BiCQL-ML：最大尤度逆強化学習のための二段階保守的Q学習フレームワーク
オフラインのデモデータのみから報酬関数を推定する逆強化学習手法を提案し、報酬と保守的Q関数を二段階で交互最適化することで、既存手法より精度良く報酬を復元できることを示した。
原題: BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning ／ Junsung Park
日本語で読む → - 論文VIO/強化学習ロボティクス
適応的でコストを意識した視覚慣性オドメトリのためのデュアルエージェント強化学習
視覚慣性オドメトリにおいて、視覚フロントエンドをいつ実行しその出力をどれだけ信頼するかを強化学習エージェントで逐次決定し、精度と計算効率のトレードオフを改善する手法を提案。
原題: Dual-Agent Reinforcement Learning for Adaptive and Cost-Aware Visual-Inertial Odometry ／ Feiyang Pan, Shenghe Zheng, Chunyan Yin 他
日本語で読む → - 論文無線ネットワーク/強化学習cs.IT
デュアルマインド世界モデル：動的無線ネットワークにおける学習のための汎用フレームワーク
認知心理学の二重過程理論に着想を得て、パターン駆動型のSystem 1と論理駆動型のSystem 2を組み合わせた世界モデルを提案し、mmWave V2X環境でのリンクスケジューリングを長期計画で最適化する。
原題: Dual-Mind World Models: A General Framework for Learning in Dynamic Wireless Networks ／ Lingyi Wang, Rashed Shelim, Walid Saad 他
日本語で読む → - 論文モデルベース強化学習機械学習
世界モデルを混乱させるのはどれほど難しいか
強化学習における「最も混乱させるインスタンス」の概念をニューラルネットワーク世界モデルに拡張し、制約付き最適化問題として定式化して敵対的訓練で解く手法を提案した。
原題: How Hard is it to Confuse a World Model? ／ Waris Radji, Odalric-Ambrym Maillard
日本語で読む → - 論文強化学習/世界モデル機械学習
DreamerV3-XP：不確実性推定による探索の最適化
世界モデル強化学習DreamerV3に優先経験再生とアンサンブル不確実性に基づく内的報酬を追加し、疎な報酬環境での探索と学習効率を改善した。
原題: DreamerV3-XP: Optimizing exploration through uncertainty estimation ／ Lukas Bierling, Davide Pasero, Jan-Henrik Bertrand 他
日本語で読む → - 論文強化学習/解釈可能性機械学習
埋め込み次元の増大が単純ソートタスクにおける世界モデルを強化する
強化学習でバブルソート風の隣接交換を学習するTransformerにおいて、埋め込み次元が内部世界モデルの形成に与える影響を調査し、次元が大きいほど構造的で解釈可能な表現が得られることを示した。
原題: Higher Embedding Dimension Creates a Stronger World Model for a Simple Sorting Task ／ Brady Bhalla, Honglu Fan, Nancy Chen 他
日本語で読む →