論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/10/20 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
D2C-HRHR: 高リスク高リターンタスクのための離散行動と二重分布クリティック
高リスク高リターンなタスクでは行動分布が多峰的で報酬が確率的になるため、連続行動を離散化しエントロピー正則化と二重クリティックで価値分布を推定する強化学習フレームワークを提案した。
原題: D2C-HRHR: Discrete Actions with Double Distributional Critics for High-Risk-High-Return Tasks ／ Jundong Zhang, Yuhui Situ, Fanji Zhang 他
日本語で読む → - 論文強化学習テスト機械学習
多様性の追求：深層強化学習エージェントの多目的テスト
深層強化学習エージェントの安全性テストにおいて、失敗の多様性と発生しやすさを同時に最適化する多目的探索手法INDAGO-Nexusを提案し、従来手法より多くの固有の失敗を発見した。
原題: The Pursuit of Diversity: Multi-Objective Testing of Deep Reinforcement Learning Agents ／ Antony Bartlett, Cynthia Liem, Annibale Panichella
日本語で読む → - 論文強化学習機械学習
Deep SPI：世界モデルによる安全な方策改善
世界モデルと表現学習を組み合わせたオンライン強化学習において、方策更新を現在の方策の近傍に制限することで単調改善と収束を保証する理論的枠組みを構築し、その理論に基づくアルゴリズムDeepSPIを提案した論文。
原題: Deep SPI: Safe Policy Improvement via World Models ／ Florent Delgrange, Raphael Avalos, Willem Röpke
日本語で読む → - 論文強化学習機械学習
未知のダイナミクスを持つ多動物行動のデータ駆動型シミュレータ：オフライン・オンライン強化学習による実現
深層強化学習と反実仮想シミュレーションを用いて、未知の運動ダイナミクスを持つ多動物の行動を再現・予測するデータ駆動型シミュレータを構築した。
原題: Data-driven simulator of multi-animal behavior with unknown dynamics via offline and online reinforcement learning ／ Keisuke Fujii, Kazushi Tsutsui, Yu Teshima 他
日本語で読む → - 論文強化学習機械学習
目標条件付き強化学習のためのテスト時グラフ探索
既存の目標条件付き強化学習ポリシーに、学習不要の軽量なグラフ探索ラッパーを組み合わせることで、長期的タスクの成功率を大幅に向上させる手法を提案した。
原題: Test-Time Graph Search for Goal-Conditioned Reinforcement Learning ／ Evgenii Opryshko, Junwei Quan, Claas Voelcker 他
日本語で読む → - 論文モデルベース強化学習機械学習
計画としての時空間予測：生成的世界モデルを用いたモデルベース強化学習アプローチ
時空間予測をモデルベース強化学習の問題として捉え、生成的世界モデルとビーム探索による計画で非微分な評価指標を報酬として活用し、極端事象の捕捉精度を高める手法を提案した。
原題: Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models ／ Hao Wu, Yuan Gao, Xingjian Shi 他
日本語で読む → - 論文強化学習q-bio.NC
深層強化学習で訓練したRNNエージェントによるゼブラフィッシュ幼生の捕食行動の解析
深層強化学習で訓練したリカレントエージェントが、ゼブラフィッシュ幼生の捕食行動を再現し、その行動を生む最小限の制約条件を明らかにした。
原題: Dissecting Larval Zebrafish Hunting using Deep Reinforcement Learning Trained RNN Agents ／ Raaghav Malik, Satpreet H. Singh, Sonja Johnson-Yu 他
日本語で読む → - 論文強化学習機械学習
D2AC：拡散方策と分布型クリティックを融合した強化学習
拡散モデルベースの方策を安定してオンライン学習させるため、分布型RLとクリップ付き二重Q学習を組み合わせた頑健なクリティックを提案し、多数の難タスクで最高性能を達成した。
原題: D2 Actor Critic: Diffusion Actor Meets Distributional Critic ／ Lunjun Zhang, Shuo Han, Hanrui Lyu 他
日本語で読む → - 論文部分観測強化学習機械学習
蒸留か決定か？部分観測強化学習におけるアルゴリズム的トレードオフの理解
部分観測強化学習において、特権的な潜在状態情報を用いた専門家蒸留と標準的な強化学習の間のトレードオフを理論モデルと実験で調査し、潜在ダイナミクスの確率性が選択に影響することを示した。
原題: To Distill or Decide? Understanding the Algorithmic Trade-off in Partially Observable Reinforcement Learning ／ Yuda Song, Dhruv Rohatgi, Aarti Singh 他
日本語で読む → - 論文モデルベース強化学習機械学習
適応的事前分布を用いた計画学習のためのKL正則化フレームワーク
MPPIベースのモデルベース強化学習手法をKL正則化の枠組みで統一的に整理し、プランナの行動分布を事前分布として取り込むPO-MPCを提案した論文。
原題: A KL-regularization Framework for Learning to Plan with Adaptive Priors ／ Álvaro Serra-Gomez, Daniel Jarne Ornia, Dhruva Tirumala 他
日本語で読む → - 論文量子強化学習quant-ph
量子古典ハイブリッド方策勾配によるサイバーフィジカルシステムの適応制御：VQCとMLPの比較研究
CartPole環境で古典的MLPと変分量子回路（VQC）を強化学習エージェントとして比較し、MLPが高性能・高ロバスト性を示す一方、VQCはパラメータ数が少ないが性能とノイズ耐性に課題があることを明らかにした。
原題: Hybrid Quantum-Classical Policy Gradient for Adaptive Control of Cyber-Physical Systems: A Comparative Study of VQC vs. MLP ／ Aueaphum Aueawatthanaphisut, Nyi Wunna Tun
日本語で読む → - 論文オフライン強化学習ロボティクス
DiSA-IQL: 分布シフト下でのロバストなソフトロボット制御のためのオフライン強化学習
ソフトヘビロボットの制御において、分布シフトに対処するため信頼できない状態行動ペアにペナルティを与えるIQL拡張手法DiSA-IQLを提案し、オフラインRLでベースラインより高い成功率とロバスト性を達成した。
原題: DiSA-IQL: Offline Reinforcement Learning for Robust Soft Robot Control under Distribution Shifts ／ Linjin He, Xinda Qi, Dong Chen 他
日本語で読む → - 論文制御/強化学習ロボティクス
実環境のケーブル駆動パラレルロボットにおけるロバスト制御システムの評価
ケーブル駆動パラレルロボットの制御において、古典的なPID制御と強化学習（DDPG, PPO, TRPO）を比較し、TRPOが最も低いRMS誤差とロバスト性を示すことを明らかにした。
原題: Evaluation of a Robust Control System in Real-World Cable-Driven Parallel Robots ／ Damir Nurtdinov, Aliaksei Korshuk, Alexei Kornaev 他
日本語で読む → - 論文逆強化学習ロボティクス
最小観測逆強化学習による人間の到達運動の最適性原理の学習
最小観測逆強化学習(MO-IRL)を用いて、人間の腕到達運動を時変コスト重みでモデル化し、少ないデモンストレーションで効率的に学習・予測できることを示した。
原題: Learning Human Reaching Optimality Principles from Minimal Observation Inverse Reinforcement Learning ／ Sarmad Mehrdad, Maxime Sabbah, Vincent Bonnet 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
オンライン最適化によるロボット制御のための効率的なモデルベース強化学習
実世界のロボット制御に向けて、オンラインで動力学モデルを学習し政策更新を行うモデルベース強化学習を提案。油圧ショベルとソフトロボットアームで高いサンプル効率と適応性を示した。
原題: Efficient Model-Based Reinforcement Learning for Robot Control via Online Optimization ／ Fang Nan, Hao Ma, Qinghua Guan 他
日本語で読む → - 論文強化学習/メモリ機械学習
ELMUR: 長期的RL問題のための更新/書き換え可能な外部層メモリ
トランスフォーマの各層に外部メモリを持たせ、LRUで更新・書き換えすることで、部分観測・長期ホライズンの強化学習タスクにおける性能を大幅に向上させた手法。
原題: ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems ／ Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov
日本語で読む → - 論文安全強化学習機械学習
安全フィルタリング下での証明可能に最適な強化学習
安全フィルタを環境の一部として組み込んだフィルタ済みMDPを定式化し、十分に許容的なフィルタを用いれば漸近性能を損なわずに安全性を保証できることを証明した。
原題: Provably Optimal Reinforcement Learning under Safety Filtering ／ Donggeon David Oh, Duy P. Nguyen, Haimin Hu 他
日本語で読む → - 論文ゼロショット強化学習機械学習
TD-JEPA：ゼロショット強化学習のための潜在予測表現
時間差分学習を用いて長期潜在ダイナミクスを予測する表現をオフライン・報酬なし遷移から学習し、テスト時に任意の報酬関数をゼロショット最適化できる強化学習手法を提案。
原題: TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning ／ Marco Bagatella, Matteo Pirotta, Ahmed Touati 他
日本語で読む → - 論文点群強化学習ロボティクス
PCA正規化によるロバストな点群強化学習
点群強化学習において、PCAベースの正規化で任意の剛体変換を標準姿勢に揃え、未知のカメラ視点に対するロバスト性を向上させる手法を提案。
原題: Robust Point Cloud Reinforcement Learning via PCA-Based Canonicalization ／ Michael Bezick, Vittorio Giammarino, Ahmed H. Qureshi
日本語で読む → - 論文強化学習/ニューロモルフィックAI
スパイキングニューラルネットワークの逐次強化学習のための適応的サロゲート勾配
スパイキングニューラルネットワークの強化学習において、サロゲート勾配の傾きを適応的に調整し、特権ガイドポリシーで学習をブートストラップする手法を提案。実世界のドローン位置制御で性能を2.1倍改善した。
原題: Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks ／ Korneel Van den Berghe, Stein Stroobants, Vijay Janapa Reddi 他
日本語で読む → - 論文強化学習/ロバスト制御ロボティクス
オフラインからオンライン強化学習における敵対的ファインチューニングによるロバストなロボット制御
オフライン強化学習で学習した方策に、実行時の行動に摂動を加える敵対的ファインチューニングを施し、アクチュエータ故障などの外乱に対するロバスト性を向上させる手法を提案。性能に応じたカリキュラムで摂動確率を調整し、安定性とロバスト性のバランスを取る。
原題: Adversarial Fine-tuning in Offline-to-Online Reinforcement Learning for Robust Robot Control ／ Shingo Ayabe, Hiroshi Kera, Kazuhiko Kawamoto
日本語で読む → - 論文強化学習ロボティクス
ロボティクスと制御システムにおける強化学習の分類と動向：構造化レビュー
強化学習（RL）と深層強化学習（DRL）のロボティクス・制御への応用を体系的にレビューし、アルゴリズム、応用分野、訓練手法、実用化レベルを分類した。
原題: Taxonomy and Trends in Reinforcement Learning for Robotics and Control Systems: A Structured Review ／ Kumater Ter, Abolanle Adetifa, Daniel Udekwe
日本語で読む → - 論文強化学習レースロボティクス
強化学習によるF1TENTHレースでの実環境追い抜きの加速
F1TENTH車両に強化学習エージェントを実装し、対戦相手と訓練することで実世界での追い抜き成功率を87%まで向上させた。
原題: Accelerating Real-World Overtaking in F1TENTH Racing Employing Reinforcement Learning Methods ／ Emily Steiner, Daniel van der Spuy, Futian Zhou 他
日本語で読む → - 論文安全強化学習機械学習
安全強化学習におけるラグランジュ法の実践的理解に向けて
安全強化学習で広く使われるラグランジュ法について、8つのタスクで制約の幾何学とラグランジュ乗数更新機構の感度を分析し、リターンとコストのトレードオフを可視化した実証的パレートフロンティアを提示した。
原題: Towards a Practical Understanding of Lagrangian Methods in Safe Reinforcement Learning ／ Lindsay Spoor, Álvaro Serra-Gómez, Aske Plaat 他
日本語で読む → - 論文安全強化学習ロボティクス
CBF-RL: 制御バリア関数による訓練時の安全フィルタリング強化学習
強化学習の訓練時に制御バリア関数を組み込み、オンライン安全フィルタなしで安全な行動を学習するフレームワークを提案し、人型ロボットの実環境での障害物回避と階段昇降を実現した。
原題: CBF-RL: Safety Filtering Reinforcement Learning in Training with Control Barrier Functions ／ Lizhi Yang, Blake Werner, Massimiliano de Sa 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
BLIP-FusePPO：自動運転の車線維持のための視覚言語深層強化学習フレームワーク
視覚言語モデルの意味埋め込みを幾何状態・LiDAR・PID制御フィードバックと融合させたマルチモーダル強化学習で、自動運転の車線維持性能を向上させた研究。
原題: BLIP-FusePPO: A Vision-Language Deep Reinforcement Learning Framework for Lane Keeping in Autonomous Vehicles ／ Seyed Ahmad Hosseini Miangoleh, Amin Jalal Aghdasian, Farzaneh Abdollahi
日本語で読む → - 論文自動運転/強化学習ロボティクス
強化学習によるサンプリングベース軌道計画の動的適応：アジャイル自動運転に向けて
強化学習エージェントが低レベル軌道計画器のコスト関数パラメータを動的に切り替え、自動運転レースで衝突率0%を達成しつつ追い越し時間を最大60%短縮した。
原題: Reinforcement Learning-based Dynamic Adaptation for Sampling-Based Motion Planning in Agile Autonomous Driving ／ Alexander Langmann, Yevhenii Tokarev, Mattia Piccinini 他
日本語で読む → - 論文階層型強化学習ロボティクス
高次元動的システムの適応制御に向けたマルチタイムスケール安定性保持階層型強化学習コントローラフレームワーク
階層型強化学習とニューラルリアプノフ関数を組み合わせ、高次元確率システムの安定性を保証しながら制御するフレームワークを提案。8次元超混沌系と5自由度ロボットマニピュレータで有効性を実証した。
原題: A Novel Multi-Timescale Stability-Preserving Hierarchical Reinforcement Learning Controller Framework for Adaptive Control in High-Dimensional Dynamical Systems ／ Mohammad Ali Labbaf Khaniki, Fateme Taroodi, Benyamin Safizadeh
日本語で読む → - 論文連続制御/強化学習機械学習
構造的最大化可能なQ関数によるアクターフリー連続制御
連続行動空間での制御において、アクターを別途学習せずにQ関数の構造的最大化を利用する純粋な価値ベース強化学習フレームワークを提案し、標準的なシミュレーションタスクで従来手法と同等以上の性能とサンプル効率を達成した。
原題: Actor-Free Continuous Control via Structurally Maximizable Q-Functions ／ Yigit Korkmaz, Urvi Bhuwania, Ayush Jain 他
日本語で読む → - 論文強化学習/探索ロボティクス
概念駆動型探索による強化学習
事前学習済み視覚言語モデルから得た物体概念を補助タスクで再構成し、その精度を内在的報酬として探索を誘導する手法を提案。視覚マニピュレーションで効率的な探索を実現し、実機でも80%の成功率を示した。
原題: CDE: Concept-Driven Exploration for Reinforcement Learning ／ Le Mao, Andrew H. Liu, Renos Zabounidis 他
日本語で読む →