論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/9/28 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
高リスク高精度運動制御の学習
ビリヤードを例に、不可逆な結果を伴う高精度運動制御のための強化学習アルゴリズムSCOOTを提案し、高精度なショットと多様な戦略の獲得を実現した。
原題: Learning High-Risk High-Precision Motion Control ／ Nam Hee Kim, Markus Kirjonen, Perttu Hämäläinen
日本語で読む → - 論文強化学習ロボティクス
安定化制御における方策勾配のためのゼロ次報酬整形の十分性
安定化制御タスクにおいて、方策勾配法は速度情報を含まないゼロ次（位置）報酬だけでも解けることを理論と実験で示し、一次報酬項の追加は感度を高めることを明らかにした。
原題: Sufficiency of Zeroth-Order Reward Shaping for Policy Gradient in Stabilization Control ／ Yisheng Zhang, Tao Wang, Sicun Gao
日本語で読む → - 論文強化学習/マニピュレーション機械学習
フィードバック補正を備えたアクションチャンキングPPO
PPOにアクションチャンキングを導入し、チャンク単位の計画とステップごとのフィードバック補正を組み合わせることで、高次元ロボット制御タスクの性能を向上させた研究。
原題: Action Chunking Proximal Policy Optimization with Feedback Correction ／ Sanghyun Hahn, Jonghyun Choi
日本語で読む → - 論文安全強化学習機械学習
安全スコアマッチング：ハミルトン・ヤコビ到達可能性を用いた拡散ポリシーによるオンライン安全強化学習
ハミルトン・ヤコビ到達可能性で拡散ポリシーのスコア目標を切り替え、安全制約下でのオンライン強化学習を実現する手法を提案。
原題: Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning ／ Boyang Li, Matthew Kim, Sylvia Lee Herbert
日本語で読む → - 論文強化学習/報酬学習ロボティクス
実演不要の成功率報酬学習による汎用ロボット方策
専門家の実演なしに、方策の試行錯誤から成功率をブートストラップで学習し、汎用ロボット方策の強化学習を効率化する手法を提案。
原題: Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies ／ Duo Wu, Haifeng Wang, Rongwei Lu 他
日本語で読む → - 論文強化学習/制御機械学習
方策メモリを通した誤差逆伝播はいつ重要か？物理的クレジット・最適化更新・可観測性
メモリ付き方策の学習で、記憶履歴への逆伝播を打ち切る影響を、勾配・最適化更新・追従性能の観点から分析した研究。
原題: When Does Backpropagating Through Policy Memory Matter? Physical Credit, Optimizer Updates, and Observability ／ Xingjian Li, Yi Han, Jianhua Z. Huang
日本語で読む → - 論文マルチエージェント強化学習機械学習
MA-JEPA: マルチエージェント強化学習のための結合埋め込み世界モデル
観測再構成の代わりに自己教師あり結合埋め込み予測(JEPA)を用いた確率的な世界モデルを提案し、集中学習・分散実行型のマルチエージェント強化学習を実現した。SMACの8マップ中4つで最強の比較手法と同等以上の勝率を達成。
原題: MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning ／ Brandon Gary Kaplowitz, Osaze James Obahor, Christian Schroeder de Witt
日本語で読む → - 論文安全強化学習機械学習
制約付きフローポリシー更新：一般化シュレーディンガー橋からの視点
安全制約付き強化学習において、フローポリシーの生成経路を通じて拡張ラグランジュ目的を直接微分し、スコア推定を不要にした新しいオフポリシーアクター・クリティック法を提案。
原題: Constrained Flow Policy Updates: A Generalized Schrödinger Bridge View ／ Boyang Li, Matthew Kim, Sylvia Herbert
日本語で読む → - 論文強化学習機械学習
強化学習における自己確認的重ね合わせトラップ
強化学習のポリシーと表現学習のループが、最適な表現フィッティングのもとでも低リターンのポリシーを維持しうる「自己確認的重ね合わせトラップ」を理論的に特徴づけ、リプレイ条件を導出した。
原題: Self-Confirming Superposition Traps in Reinforcement Learning ／ Dai Shi, Andi Han, Feng Chen 他
日本語で読む → - 論文フローマッチング強化学習機械学習
タイムステップ重み付け：ELBOベースフローマッチング強化学習の有効性を左右する隠れた鍵
ELBOベースの強化学習におけるタイムステップ重み付けが性能に与える影響を分析し、報酬地形と学習段階に応じた適応的な重み付け手法を提案した。
原題: Timestep Weighting: A Hidden Key to Effective ELBO-Based Flow-Matching RL ／ Qinwei Ma, Jingzhe Shi, Simin Fan 他
日本語で読む → - 論文逆強化学習ロボティクス
PHIRL: 逆強化学習のための学習報酬とタスク進捗の整合
人間のデモンストレーションと進捗フィードバックを組み合わせ、逆強化学習でロバストな報酬関数を学習するデータ効率の良いフレームワークPHIRLを提案。実機・シミュレーションでベースラインを上回る性能を示した。
原題: PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning ／ Hang Yu, James Staley, Cheng Xi Tsou 他
日本語で読む → - 論文強化学習/世界モデル機械学習
CyberWorld: 自律型サイバー防御のためのサンプル効率の高い世界モデル
サイバー防御の強化学習にDreamer型の世界モデルを導入し、ネットワークのグラフ表現などを用いて潜在ダイナミクスを学習することで、モデルフリーPPOよりはるかに少ない環境ステップで攻撃戦略に対応できることを示した。
原題: CyberWorld: World Models for Sample-Efficient Autonomous Cyber Defense ／ Ryozo Masukawa, Sanggeon Yun, Raheeb Hassan 他
日本語で読む → - 論文強化学習/オフラインRL機械学習
信頼誘導型Decision Transformer
Decision Transformerの長いロールアウトでの性能劣化を、次状態予測誤差に基づく信頼性評価で検出し、信頼できる文脈のみを用いて価値誘導を行う手法を提案。
原題: Trust Guided Decision Transformer ／ Chainesh Gautam, Raghuram Bharadwaj Diddigi, Chandramouli Kamanchi 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
速度と精度の両立：油圧ショベル制御のためのサンプル効率の高いオンラインモデルベース強化学習
油圧ショベルの制御において、確率的ダイナミクスアンサンブルモデルをオンラインで学習し、モデル予測制御に用いるフレームワークを提案。実機で20分の対話後、従来の100-150分学習した制御器と同等の追従精度を達成し、40分後には高速動作でサブセンチメートル精度を維持した。
原題: Precision at Speed: Sample-Efficient Online Model-Based Reinforcement Learning for Hydraulic Excavator Control ／ Claudio Canales, Fang Nan, Marco Hutter 他
日本語で読む → - 論文強化学習ロボティクス
STL誘導スタイン変分方策勾配による疎な成功信号からのロボット方策学習
Signal Temporal Logicのロバスト性を軌道レベルの目的関数として用い、スタイン変分方策勾配で疎な成功信号からロボット方策を学習する手法を提案し、クアッドコプターとマニピュレータの6タスクで有効性を示した。
原題: Learning Robot Policies from Sparse Success Signals via STL-Guided Stein Variational Policy Gradient ／ Hongrui Zheng, Cristian Ioan Vasile, Antonio Loquercio 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
表現世界モデル：表現空間における状態・遷移・実行可能計画の学習
潜在表現空間内で直接的に状態・遷移・計画を学習し、再帰的ロールアウトや行動空間探索なしに計画を実行する手法を提案。連続制御とロボットマニピュレーションで有効性を示す。
原題: Representation World Model: Learning States, Transition and Executable Plans in Representation ／ Yijun Yuan, Weicheng Zheng, Weibang Wang 他
日本語で読む → - 論文ソフトロボティクス/強化学習ロボティクス
腱駆動型ロボットクラゲ：拘束型ソフトアクチュエーションと強化学習による深度制御
柔軟基板に離散的な拘束を組み合わせた腱駆動アクチュエータでロボットクラゲを構築し、強化学習によりシミュレーションと実機の両方で深度制御を実現した。
原題: A Tendon-Driven Robotic Jellyfish with Constrained Soft Actuation and Depth Control via Reinforcement Learning ／ Jiarui Peng, Yutong Wu, Zelong Wang 他
日本語で読む → - 論文強化学習/制御ロボティクス
時空間チューブ報酬を用いた信号時相論理仕様の全クラスに対する実用的強化学習
信号時相論理(STL)で表された複雑な高レベル仕様を満たすため、時空間チューブの幾何学的性質を利用した時間認識型強化学習フレームワークを提案し、入力制約を厳守しつつ履歴不要で効率的に連続制御方策を学習する。
原題: Tractable Reinforcement Learning for Full Class of Signal Temporal Logic Specifications Using Spatiotemporal Tube Reward ／ Vaishnavi Jagabathula, P Sangeerth, Pushpak Jagtap
日本語で読む → - 論文強化学習ロボティクス
ロボティクスにおける適応的継続学習のためのストリーミング深層強化学習の分析
事前学習済みのロボット方策が、ストリーミング深層強化学習を用いて自身・環境・目標の予期せぬ変化にオンラインで適応できることを四足歩行で示した。
原題: An Analysis of Streaming Deep Reinforcement Learning for Adaptive Continual Learning in Robotics ／ Teeratham Vitchutripop, Alyssa Quarles, Wenhe Zhang 他
日本語で読む → - 論文外骨格/強化学習/sim2realロボティクス
Sim-to-real強化学習による速度適応型股関節外骨格制御ポリシーの学習
シミュレーションで歩行速度に応じたアシストタイミングを強化学習し、実機の股関節外骨格に転移させ、オンライン選好学習でアシスト強度を個人適応させるフレームワークを提案した。
原題: Learning a Speed-adaptive Hip Exoskeleton Control Policy Via Sim-to-real Reinforcement Learning ／ Bin Li, Zhimin Hou, Jiacheng Hou 他
日本語で読む → - 論文安全強化学習ロボティクス
安全性を競技力へ：安全フィルタ付き強化学習による搾取されにくいロボット方策
競技タスク向けに、安全フィルタを敵対的RLで学習してからタスク方策を訓練する2段階フレームワークS2Cを提案し、安全性と競技性能・非搾取性を両立させた。
原題: Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning ／ Ruihan Wu, Rui Yang, Donggeon David Oh 他
日本語で読む → - 論文強化学習ロボティクス
HiRE: 後知恵報酬編集による方策ファインチューニング
成功・失敗軌跡を後知恵で対比し、基盤表現モデルの報酬を制御中心に校正する訓練不要の枠組みを提案。
原題: HiRE: Hindsight Reward Editing for Policy Finetuning ／ Haoyi Niu, Zhengtao Han, Yufeng Ji 他
日本語で読む → - 論文強化学習/エージェントAI
サブタスク分解による強化学習
マルチターンの軌跡報酬をサブタスクごとに分解し、各サブタスクのグループ相対アドバンテージを計算してトークン単位でクレジットを配分するRLDSを提案。エージェント系ベンチマークで有効性を示す。
原題: Reinforcement Learning with Decomposed Subtasks ／ Mattie Terzolo, Mikolaj Sacha, Ayan Sinha 他
日本語で読む → - 論文マルチエージェント強化学習cs.MA
MATES: 凍結した単一エージェント方策の観測変換によるマルチエージェント相互作用の学習
マルチエージェント環境の観測を、凍結した単一エージェント方策が扱える形式に変換する小さなアダプタを学習することで、方策を再学習せずに協調行動を実現する手法。
原題: MATES: Learning Multi-Agent Interactions by Transforming Observations for Frozen Single-Agent Policies ／ Elie Abboud, Oren Gal
日本語で読む → - 論文教育・ヒューマノイド・強化学習ロボティクス
高校生向け強化学習とヒューマノイドロボティクスの教育：低コストオープンプラットフォームにおける専門家検証済みカリキュラム設計
低コストのオープンソースヒューマノイドロボットと強化学習シミュレーションを用いて、高校生が組み立て・シミュレーション・歩行政策学習・実機展開を体験する統合カリキュラムを設計し、専門家による形成的評価を通じて三つの設計上の緊張を明らかにした。
原題: Teaching Reinforcement Learning and Humanoid Robotics to High-School Students: An Expert-Validated Curriculum Design on a Low-Cost Open Platform ／ Yuanzhe Dong, Jie Cao, Shuman Wang
日本語で読む → - 論文マルチエージェント強化学習機械学習
完全ビザンチン耐性マルチエージェント強化学習
通信層にビザンチン攻撃がある分散マルチエージェント強化学習において、2ホップメッセージの冗長性を利用して信頼できるメッセージを特定し、攻撃がない場合と同じ極限点に収束する手法を提案した。
原題: Fully Byzantine-Resilient Multi-Agent Reinforcement Learning ／ Haejoon Lee, Dimitra Panagou
日本語で読む → - 論文強化学習機械学習
強化学習における計算効率の良い安全な探索
ガウス過程より軽量なNadaraya-Watson推定量を用いて、制約付きMDPを安全に探索・最適化するアルゴリズムCoLSafe-MDPを提案し、グリッド環境と火星地形データで評価した。
原題: Computationally efficient safe exploration in reinforcement learning ／ Shreeram Murali, Shankar A. Deka, Dominik Baumann
日本語で読む → - 論文制御/強化学習ロボティクス
A3C強化学習に基づく適応PID制御器のクアッドコプター制御への設計
A3CアルゴリズムでPIDゲインを動的に最適化するクアッドコプター制御手法を提案し、A2Cより優れた追従性能と収束性を示した。
原題: Design of Adaptive PID Controller Based On Asynchronous Advantage Actor Critic Learning Method for QuadCopter Control ／ Ali Jokar, Aria Alasty
日本語で読む → - 論文強化学習ロボティクス
GR2PO: 連続ロボット制御のためのグループ相対リターン方策最適化
批評家なしでグループ正規化と割引リターンを用いて方策を更新する強化学習フレームワークを提案し、連続ロボット制御タスクで有効性を示した。
原題: GR2PO: Group Relative Return Policy Optimization for Continuous Robot Control ／ Pengqin Wang, Qiming Zhang, Shaojie Shen 他
日本語で読む → - 論文UAV/強化学習/セキュリティ機械学習
ASGARD: 強化学習によるUAVのアクション空間攻撃に対する耐性向上
UAVの強化学習制御におけるアクション空間攻撃に対し、教師-生徒パイプラインで攻撃を検知・修正する防御手法を提案。
原題: ASGARD: Action-Space Guard for UAV Resilience via Reinforcement Learning ／ Mohsen Salehi, Karthik Pattabiraman
日本語で読む →