論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/3/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文安全強化学習AI
HASARD: 身体性エージェントのための視覚ベース安全強化学習ベンチマーク
Doomを舞台に、一人称視覚のみで安全な意思決定を学ぶ強化学習エージェントを評価するベンチマークHASARDを提案し、難易度3段階と2種類の行動空間を用意して既存手法の性能と報酬・コストのトレードオフを分析した。
原題: HASARD: A Benchmark for Vision-Based Safe Reinforcement Learning in Embodied Agents ／ Tristan Tomilin, Meng Fang, Mykola Pechenizkiy
日本語で読む → - 論文ロボット探索/強化学習/sim2realロボティクス
CTSAC: カリキュラム学習ベースのTransformer Soft Actor-Criticによる目標指向ロボット探索
TransformerをSACの知覚ネットワークに組み込み、周期的レビュー型カリキュラム学習とLiDARクラスタリング最適化により、ロボット探索の効率とSim-to-Real転移性能を向上させた手法を提案。
原題: CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration ／ Chunyu Yang, Shengben Bi, Yihui Xu 他
日本語で読む → - 論文強化学習/マニピュレーションロボティクス
CONTHER: 後知恵経験再生とTransformerによる専門家デモ不要の人間らしい文脈的ロボット学習
専門家のデモンストレーションなしで、後知恵経験再生(HER)を改良したリプレイバッファとTransformerを用いて、目標指向のマニピュレーションや障害物回避を効率的に学習する強化学習アルゴリズムを提案した。
原題: CONTHER: Human-Like Contextual Robot Learning via Hindsight Experience Replay and Transformers without Expert Demonstrations ／ Maria Makarova, Qian Liu, Dzmitry Tsetserukou
日本語で読む → - 論文強化学習機械学習
適応的勾配マスク敵対攻撃によるロボティクスにおける堅牢な深層強化学習
深層強化学習エージェントの脆弱性を狙う新しい敵対攻撃手法AGMRを提案し、重要な状態次元を動的に特定して摂動を集中させることで攻撃性能を高め、防御機構を通じてエージェントの堅牢性も向上させる。
原題: Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks ／ Zongyuan Zhang, Tianyang Duan, Zheng Lin 他
日本語で読む → - 論文強化学習ロボティクス
LaMOuR: 言語モデルを活用した強化学習の分布外状態からの復帰
LVLMが画像説明・論理推論・コード生成を用いて密な報酬コードを生成し、不確実性推定に頼らずエージェントを分布外状態から元のタスクへ復帰させる手法を提案。
原題: LaMOuR: Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning ／ Chan Kim, Seung-Woo Seo, Seong-Woo Kim
日本語で読む → - 論文強化学習機械学習
実時間強化学習における遅延への対処
ニューロンの並列実行に伴う観測遅延とネットワーク表現力のトレードオフを、時間スキップ接続と履歴拡張観測で解決する手法を提案し、MujocoやMinAtarで有効性を示した。
原題: Handling Delay in Real-Time Reinforcement Learning ／ Ivan Anokhin, Rishav Rishav, Matthew Riemer 他
日本語で読む → - 論文強化学習/スケジューリングロボティクス
敏捷な地球観測衛星スケジューリング問題に対する省エネ学習解法
深層強化学習を用いて、時間依存の利益を持つ地球観測衛星の観測計画を最適化し、画質不良画像の取得を60%以上削減、姿勢制御のエネルギー浪費を最大78%削減した。
原題: An energy-efficient learning solution for the Agile Earth Observation Satellite Scheduling Problem ／ Antonio M. Mercado-Martínez, Beatriz Soret, Antonio Jurado-Navas
日本語で読む → - 論文安全強化学習ロボティクス
Bresa: 接触の多いロボットタスクのための生物に着想を得た反射的安全強化学習
生物の反射を模倣し、タスク学習と安全学習を分離した階層型安全強化学習を提案。高頻度の安全クリティックが低レベルでリアルタイム介入し、接触の多いタスクでの安全性と適応性を向上させた。
原題: Bresa: Bio-inspired Reflexive Safe Reinforcement Learning for Contact-Rich Robotic Tasks ／ Heng Zhang, Gokhan Solak, Arash Ajoudani
日本語で読む → - 論文強化学習ロボティクス
ロボット長期的強化学習における事前学習済みベイズノンパラメトリック知識事前分布
ディリクレ過程混合モデルを用いて多様なスキルをノンパラメトリックに事前学習し、長期的なロボット操作タスクの強化学習を効率化する手法を提案した。
原題: Pretrained Bayesian Non-parametric Knowledge Prior in Robotic Long-Horizon Reinforcement Learning ／ Yuan Meng, Xiangtong Yao, Kejia Chen 他
日本語で読む → - 論文制御/強化学習ロボティクス
自己教師あり強化学習によるニューラルリアプノフ関数近似
自己教師あり強化学習とデータ駆動型ワールドモデルを組み合わせ、非線形系のリアプノフ関数を効率的に近似する手法を提案し、ロボットタスクで精度と収束速度の向上を示した。
原題: Neural Lyapunov Function Approximation with Self-Supervised Reinforcement Learning ／ Luc McCutcheon, Bahman Gharesifard, Saber Fallah
日本語で読む → - 論文マルチタスク強化学習/飛行制御ロボティクス
グラフ方策を用いたマルチタスク強化学習によるクアッドコプターの姿勢安定化と追従
IsaacGymでの並列シミュレーションとグラフ畳み込みネットワーク方策を組み合わせたマルチタスクSACで、クアッドコプターの姿勢追従と安定化を同時に学習し、Pixhawk上で400Hz制御を実現した。
原題: Multitask Reinforcement Learning for Quadcopter Attitude Stabilization and Tracking using Graph Policy ／ Yu Tang Liu, Afonso Vale, Aamir Ahmad 他
日本語で読む → - 論文安全強化学習ロボティクス
適応的Conformal Predictionを用いた計算・サンプル効率の良い安全強化学習
ガウス過程の近似にQFF、不確実性定量に適応的Conformal Predictionと制御バリア関数を組み合わせ、安全かつサンプル効率の良い非線形制御を実現する枠組みを提案。
原題: Computationally and Sample Efficient Safe Reinforcement Learning Using Adaptive Conformal Prediction ／ Hao Zhou, Yanze Zhang, Wenhao Luo
日本語で読む → - 論文マルチエージェント強化学習機械学習
動的なシュートマッピングのための分布ロバスト多エージェント強化学習
倉庫ロボットの仕分け効率化のため、投入レートの不確実性に強い多エージェント強化学習フレームワークを提案し、パッケージ再循環を平均80%削減した。
原題: Distributionally Robust Multi-Agent Reinforcement Learning for Dynamic Chute Mapping ／ Guangyi Liu, Suzan Iloglu, Michael Caldara 他
日本語で読む → - 論文オフライン強化学習機械学習
離散拡散スキルによるオフライン強化学習
トランスフォーマーエンコーダと拡散デコーダで離散スキル空間を構築し、階層型オフライン強化学習を実現した手法を提案。長距離タスクで既存手法を上回る性能を示す。
原題: Offline Reinforcement Learning with Discrete Diffusion Skills ／ RuiXi Qiao, Jie Cheng, Xingyuan Dai 他
日本語で読む → - 論文強化学習ロボティクス
ロバストな運動知能のための強化学習：第2回RealAIGym AIオリンピックからの教訓
IROS 2024で開催された二重振り子の振り上げ制御を競う競技会において、参加チームが提出した4種類の強化学習手法を実機で評価し、シミュレーションから実機への転移性や外乱に対するロバスト性を比較検討した。
原題: Reinforcement Learning for Robust Athletic Intelligence: Lessons from the 2nd 'AI Olympics with RealAIGym' Competition ／ Felix Wiebe, Niccolò Turcato, Alberto Dalla Libera 他
日本語で読む → - 論文強化学習ロボティクス
実機ロボットにおける同期型強化学習と非同期型強化学習の比較
Franka Emika Pandaロボットアームを用いて、同期型と非同期型の強化学習を比較し、非同期型の方が学習が速く、より高いリターンを得られることを示した。
原題: Synchronous vs Asynchronous Reinforcement Learning in a Real World Robot ／ Ali Parsaee, Fahim Shahriar, Chuxin He 他
日本語で読む → - 論文強化学習AI
効率的強化学習のための因果情報優先順位付け
強化学習において、状態・行動・報酬間の因果関係を因子分解MDPで推論し、因果情報を優先することでサンプル効率を向上させる手法CIPを提案した。
原題: Causal Information Prioritization for Efficient Reinforcement Learning ／ Hongye Cao, Fan Feng, Tianpei Yang 他
日本語で読む → - 論文オフライン強化学習AI
金融アルゴリズム手法を用いたオフライン強化学習のための多様なTransformerデコーディング
オフライン強化学習におけるTransformerのデコーディングで、金融経済学のポートフォリオ理論に着想を得た不確実性を考慮した多様化機構を導入し、探索と活用のバランスを改善するPortfolio Beam Searchを提案。
原題: Diverse Transformer Decoding for Offline Reinforcement Learning Using Financial Algorithmic Approaches ／ Dan Elbaz, Oren Salzman
日本語で読む → - 論文強化学習機械学習
バッチ・重み正規化によるオフポリシー強化学習のスケーリング
CrossQに重み正規化を組み込み、高い更新対データ比でも安定して学習できるようにし、連続制御タスクでのサンプル効率を改善した。
原題: Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization ／ Daniel Palenicek, Florian Vogt, Joe Watson 他
日本語で読む → - 論文強化学習/世界モデル機械学習
非キュレーション�データで世界モデルを導く効率的強化学習
報酬なし・品質混在・複数身体性の未整理データを世界モデルの微調整に活用し、経験リハーサルと実行ガイダンスでオンライン強化学習のサンプル効率を大幅に改善した。
原題: Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data ／ Yi Zhao, Aidan Scannell, Wenshuai Zhao 他
日本語で読む → - 論文強化学習/飛行制御ロボティクス
クアッドロータ低レベル制御のための同変強化学習フレームワーク
クアッドロータの動力学に含まれる回転・鏡映対称性を同変ネットワークに組み込み、少ないデータで効率的に低レベル制御を学習する強化学習手法を提案した。
原題: Equivariant Reinforcement Learning Frameworks for Quadrotor Low-Level Control ／ Beomyeol Yu, Taeyoung Lee
日本語で読む → - 論文強化学習機械学習
自動化における最適化のための強化学習サーベイ
製造・エネルギー・ロボティクスにおける強化学習を用いた最適化手法の現状を整理し、サンプル効率や安全性などの課題と今後の研究方向をまとめたサーベイ。
原題: A Survey of Reinforcement Learning for Optimization in Automation ／ Ahmad Farooq, Kamran Iqbal
日本語で読む → - 論文自動運転/階層型強化学習ロボティクス
二層マルチアームドバンディットに基づく階層型強化学習による無信号交差点での相互作用を考慮した自動運転
無信号交差点での自動運転に向け、周囲車両の不確実性を考慮した二層マルチアームドバンディットベースの階層型強化学習フレームワークBiM-ACPPOを提案し、CARLAでの実験で優れた性能と汎化性を示した。
原題: Bilevel Multi-Armed Bandit-Based Hierarchical Reinforcement Learning for Interaction-Aware Self-Driving at Unsignalized Intersections ／ Zengqi Peng, Yubin Wang, Lei Zheng 他
日本語で読む → - 論文強化学習/経路計画機械学習
深層強化学習による短時間高高度気球の季節別定位置保持
深層Q学習を用いて、季節ごとに変化する風環境下で短時間高高度気球を目標領域に留める経路計画を訓練・評価し、予報スコアで風の多様性と成功率の関係を分析した。
原題: Seasonal Station-Keeping of Short Duration High Altitude Balloons using Deep Reinforcement Learning ／ Tristan K. Schuler, Chinthan Prasad, Georgiy Kiselev 他
日本語で読む → - 論文強化学習機械学習
パラメータ空間におけるスキル拡張と合成
スキルをLoRAモジュールとして管理し、パラメータ空間で合成・動的選択することで、新たなタスクに効率的に適応する強化学習フレームワークPSECを提案。
原題: Skill Expansion and Composition in Parameter Space ／ Tenglong Liu, Jianxiong Li, Yinan Zheng 他
日本語で読む → - 論文マルチエージェント強化学習AI
定常遷移系に基づく差別化報酬によるマルチエージェント協調意思決定の強化学習
交通流の状態遷移勾配を報酬設計に組み込む差別化報酬法を提案し、MAPPOやMADQNなどの強化学習アルゴリズムでマルチ車両協調運転の学習効率と性能を向上させた。
原題: A Differentiated Reward Method for Reinforcement Learning based Multi-Vehicle Cooperative Decision-Making Algorithms ／ Ye Han, Lijun Zhang, Dejian Meng 他
日本語で読む → - 論文マルチエージェント強化学習AI
無人水上車両のための生成AI強化型UAV・地上局協調MEC
無人水上車両を支援するため、UAVと地上局が協調するMECフレームワークを提案し、生成AIを組み込んだ異種エージェント強化学習でタスクオフロードとUAV軌道を最適化した。
原題: Generative AI-Enhanced Cooperative MEC of UAVs and Ground Stations for Unmanned Surface Vehicles ／ Jiahao You, Ziye Jia, Chao Dong 他
日本語で読む → - 論文ロバスト強化学習/制御ロボティクス
外乱抑制のためのロバスト決定論的方策勾配とクアッドロータ制御への応用
H∞制御を2人ゼロサムゲームとして再定式化し、決定論的方策勾配と深層強化学習を組み合わせたロバスト強化学習アルゴリズムRDPGを提案。クアッドロータ実験で強い外乱下でも優れたロバスト性と追従精度を示した。
原題: Robust Deterministic Policy Gradient for Disturbance Attenuation and Its Application to Quadrotor Control ／ Taeho Lee, Donghwan Lee
日本語で読む → - 論文強化学習機械学習
非最適データからの連続制御学習：自己回帰ソフトQネットワーク
連続制御の強化学習において、Q値を粗から細への自己回帰的にモデル化し、非専門家のデモやオンラインデータなどの非最適データからでも効率的に学習できるARSQを提案した。
原題: Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network ／ Jijia Liu, Feng Gao, Qingmin Liao 他
日本語で読む → - 論文強化学習/水中ロボットロボティクス
深層強化学習による6自由度自律水中ロボットの省エネ位置制御
6自由度ホロノミックAUVの制御にTQCアルゴリズムを適用し、手動調整なしで目標点到達と消費電力削減を両立できることをシミュレーションで示した。
原題: Toward 6-DOF Autonomous Underwater Vehicle Energy-Aware Position Control based on Deep Reinforcement Learning: Preliminary Results ／ Gustavo Boré, Vicente Sufán, Sebastián Rodríguez-Martínez 他
日本語で読む →