論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/6/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文オフライン強化学習機械学習
RS-Diffuser: リスク感受性拡散プランニングと分布価値ガイダンス
オフライン強化学習において、リスク中立な拡散プランナーが稀な壊滅的結果を見落とす問題に対し、分布価値クリティックと尾部リスク指標を用いたリスク感受性ガイダンスを導入し、推論時のリスクパラメータ変更だけでリスク回避・中立・追求行動を柔軟に生成できるフレームワークを提案した。
原題: RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance ／ Shiqiang Gong
日本語で読む → - 論文強化学習/生成的ポリシー機械学習
ラグランジアン摂動拡散ステアリング：生成的ポリシーのための潜在強化学習
凍結した生成的ポリシーに対し、ノイズ空間の小さな摂動を学習して性能を改善する軽量適応手法LP-DSを提案。ロボット操作や移動、器用操作のベンチマークで成功率と報酬を向上させた。
原題: Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies ／ Hikmet Simsir, Ozgur S. Oguz
日本語で読む → - 論文モデルベース強化学習機械学習
すべてのモデルは誤り、どこが誤りかを知ることが有用：強化学習におけるモデル不確実性について
モデルベース強化学習におけるモデルの不正確さを扱う枠組みを提案し、不確実性を適切に扱うことでモデルの悪用を防ぎ、ハードウェア上での直接学習や安全な探索の成功を示した。
原題: All Models are Wrong, Knowing Where is Useful: On Model Uncertainty in Reinforcement Learning ／ Bernd Frauenknecht, Devdutt Subhasish, Artur Eisele 他
日本語で読む → - 論文オフライン強化学習機械学習
行動不変なタスク表現学習とTransformer基盤の世界モデルによるオフラインメタ強化学習
オフラインメタ強化学習におけるコンテキストとポリシーの分布シフト問題を解決するため、情報理論に基づくタスク表現学習とTransformer型確率的世界モデルを統合したフレームワークを提案した。
原題: Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning ／ Fuyuan Qian, Menglong Zhang, Song Wang 他
日本語で読む → - 論文強化学習機械学習
マックスミン基準を用いた制約付き多目的強化学習
複数の目的を公平に扱うマックスミン基準と明示的な制約充足を統合した多目的強化学習フレームワークを提案し、理論的基盤と収束解析、さらに建物熱制御や移動制御、交通管理などのシミュレーションで有効性を示した。
原題: Constrained Multi-Objective Reinforcement Learning with Max-Min Criterion ／ Giseung Park, Hyunyoung Nam, Woohyeon Byeon 他
日本語で読む → - 論文強化学習機械学習
生存強化学習：スケーラブルな自己教師ありRLに向けて
自己教師ありの対比強化学習の限界を克服するため、目標状態での滞在時間を最大化する分類ベースの生存価値学習フレームワークを提案し、長期的な移動タスクで既存手法を2〜8倍上回る性能を達成した。
原題: Survival Reinforcement Learning: Toward Scalable Self-Supervised RL ／ Franki Nguimatsia-Tiofack, Fabian Schramm, Théotime Le Hellard 他
日本語で読む → - 論文マルチエージェント強化学習cs.MA
他者の夢を見る：マルチエージェント強化学習における世界モデル内の潜在チームメイトモデリング
協調型マルチエージェント強化学習において、チームメイトの内部方策や意図を世界モデル内で潜在変数としてモデル化し、心の理論ヘッドで推論することで、多様な協調相手への適応を可能にするアーキテクチャを提案した。
原題: Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning ／ Tomas Leroy-Stone
日本語で読む → - 論文マルチエージェント強化学習AI
微分可能な信念に基づく対戦相手形成
対戦相手の信念を状態として捉え、その信念更新を微分可能な形でモデル化することで、報酬構造から最適な戦略を自動的に学習する新しい対戦相手形成手法を提案した。
原題: Differentiable Belief-based Opponent Shaping ／ Aarav G Sane, Karthik Sivachandran, Rohan Paleja
日本語で読む → - 論文強化学習機械学習
LLM報酬設計が失敗するとき：スパース構造化RLのための診断駆動型改良
スパースで構造化された強化学習タスクにおいて、LLMによる報酬整形を一回生成ではなくデバッグとして捉え、訓練診断と失敗モード分類に基づく反復改良を提案し、DoorKey-8x8やKeyCorridorの成功率を大幅に向上させた。
原題: When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL ／ Youting Wang, Yuan Tang, Bowen Liu 他
日本語で読む → - 論文逆強化学習機械学習
確率的リカレント意図切替モデル
逆強化学習において、エピソード内の目標切替を捉えるため、リカレントネットワークで観測履歴から意図分布を推定する新しいモデルを提案し、EMアルゴリズムが閉形式で解けることを示した。ロボット操作データを含む複数環境で評価し、高い尤度と解釈可能な意図抽出を実現した。
原題: Probabilistic Recurrent Intention Switching Model ／ Wenyuan Sheng, Hao Zhu, Joschka Boedecker
日本語で読む → - 論文強化学習機械学習
拡散ポリシー最適化による世界モデル強化学習のスケーリング
世界モデルを用いた強化学習において、探索と価値学習の構造的不整合がスケーリングのボトルネックであることを特定し、拡散ポリシー表現で統一するMBDPOを提案した。
原題: Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization ／ Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu 他
日本語で読む → - 論文強化学習機械学習
スコアベース一段階MeanFlow方策最適化
強化学習における拡散・フローマッチング方策の多段階推論コストを削減するため、Q関数からスコア推定と確率フローODEで目標速度場を構築し、一段階生成で高価値モードに集中させる新しいアクタークリティック法SOMを提案した。
原題: Score-Based One-step MeanFlow Policy Optimization ／ Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn 他
日本語で読む → - 論文モデルベース強化学習機械学習
勾配ペナルティ付き潜在ダイナミクスによる滑らかでサンプル効率的な夢の学習
モデルベース強化学習のDreamerV3に、潜在遷移ダイナミクスの局所的な滑らかさを促す勾配ペナルティ正則化を追加し、サンプル効率を向上させた。
原題: Dreaming Smoothly and Sample Efficiently with Gradient Penalized Latent Dynamics ／ Romil V. Sonigra, P. R. Kumar
日本語で読む → - 論文階層強化学習機械学習
階層的組合せ計画のためのマルチタイムスケール抽象化の学習
確率的組合せ最適化問題に対して、可変時間の意思決定を扱うSMDP対応の世界モデルと潜在空間ツリー探索を組み合わせたモデルベース階層強化学習手法を提案し、ベンチマークで優位性を示した。
原題: Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning ／ Vivienne Huiling Wang, Tinghuai Wang, Joni Pajarinen
日本語で読む → - 論文強化学習AI
不完全な世界モデルは悪用可能である
強化学習における世界モデルの悪用可能性を定義し、報酬ハッキングとの理論的関係を明らかにした論文。
原題: Imperfect World Models are Exploitable ／ Logan Mondal Bhamidipaty, Esmeralda S. Whitammer, David Abel 他
日本語で読む → - 論文強化学習機械学習
JEDI: オンライン強化学習のための統合埋め込み拡散世界モデル
拡散世界モデルをオンライン強化学習に適用し、JEPAフレームワークを用いて潜在空間を拡散ノイズ除去損失から直接学習する新しい手法を提案。再構成や事前学習モデルに頼らず、将来の潜在表現を予測することで、効率性と性能を両立する。
原題: JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning ／ Jing Yu Lim, Rushi Shah, Zarif Ikram 他
日本語で読む → - 論文マルチエージェント強化学習制御
部分モジュラーマルチエージェントポリシー学習によるオープンマルチエージェントシステムにおけるオンライン分散タスク割り当て
本論文は、部分モジュラーなチーム効用を持つマルチエージェント強化学習を用いて、オンライン分散タスク割り当て問題を解決する。カテゴリカルポリシーと整合する新しい連続緩和法（PME）を導入し、SubMAPGという集中学習・分散実行のポリシー勾配法を提案する。
原題: Submodular Multi-Agent Policy Learning for Online Distributed Task Allocation in Open Multi-Agent Systems ／ Jing Liu, Yangyang Yang, Luca Ballotta 他
日本語で読む → - 論文強化学習機械学習
最適Qガイダンスによるフローマップポリシーの整合
拡散やフローマッチングに基づく生成ポリシーの推論コストを削減するため、任意のジャンプ（1ステップを含む）を学習するフローマップポリシーを提案し、オフラインからオンラインへの強化学習において、批評家のQ値に基づく信頼領域最適化で適応させる手法を導入した。
原題: Aligning Flow Map Policies with Optimal Q-Guidance ／ Christos Ziakas, Alessandra Russo, Avishek Joey Bose
日本語で読む → - 論文強化学習/セキュリティ機械学習
Plan2Cleanse: モンテカルロ計画による深層強化学習のテスト時バックドア防御
強化学習モデルに埋め込まれたバックドア攻撃を、再学習なしでテスト時に検出・無害化するフレームワークを提案。モンテカルロ木探索を計画問題として適用し、ブラックボックスでトリガー探索と防御的再計画を行う。
原題: Plan2Cleanse: Test-Time Backdoor Defense via Monte-Carlo Planning in Deep Reinforcement Learning ／ Sze-Ann Chen, Zhi-Yi Chin, Kui-Yuan Chen 他
日本語で読む → - 論文モデルベース強化学習AI
AGWM: 構成的前提条件を持つ環境のためのアフォーダンス基盤世界モデル
行動の実行可能性を左右する前提条件をDAGで明示的に追跡する世界モデルを提案し、多段階予測誤差の低減と解釈性向上を実証した。
原題: AGWM: Affordance-Grounded World Models for Environments with Compositional Prerequisites ／ Qinshi Zhang, Weipeng Deng, Zhihan Jiang 他
日本語で読む → - 論文世界モデル/強化学習AI
マスク拡散言語モデルはエージェント強化学習のための強力で制御可能なテキストベース世界モデルである
テキストベースの世界モデルを、初期状態やタスク文脈などの要素に分解し、マスク拡散言語モデルが自己回帰モデルより優れた一貫性と多様性を持つことを示し、強化学習の訓練環境として有効なフレームワークを提案した。
原題: Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL ／ Darshan Deshpande
日本語で読む → - 論文強化学習機械学習
複雑なカードゲームのための因果強化学習：マジック・ザ・ギャザリングのベンチマーク
因果強化学習のための複雑なベンチマークとして、マジック・ザ・ギャザリングを用いた環境を構築し、因果構造を活用するエージェントを提案・評価した。
原題: Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark ／ Cristiano da Costa Cunha, Ajmal Mian, Tim French 他
日本語で読む → - 論文強化学習機械学習
基礎方針を用いた多段階計画のための到達時間同型性
オフライン強化学習において、到達時間観測から制御マルコフ過程の有向時間幾何を復元する新しい作用素論的表現学習フレームワークを提案し、基礎方針学習アルゴリズムIELを開発した。
原題: Hitting Time Isomorphism for Multi-Stage Planning with Foundation Policies ／ Magnus Victor Boock, Abdullah Akgül, Mustafa Mert Çelikok 他
日本語で読む → - 論文強化学習機械学習
大規模言語モデルによる強化学習インターフェースの発見
強化学習のタスク設定に必要な観測と報酬のインターフェースを、大規模言語モデルを用いた進化的フレームワークLIMENで自動生成する手法を提案した。
原題: Discovering Reinforcement Learning Interfaces with Large Language Models ／ Akshat Singh Jaswal, Ashish Baghel, Paras Chopra
日本語で読む → - 論文マルチエージェント強化学習AI
調整には時としてランダム性が必要である
協調マルチエージェント強化学習において、対称な観測下で決定的方策が役割分化できない問題を、エージェントごとに乱数をサンプリングして順位付けし注意をマスクするDiamond Attentionで解決し、ゼロショット転移を実現した。
原題: Randomness is sometimes necessary for coordination ／ Rohan Patil, Jai Malegaonkar, Henrik I. Christensen
日本語で読む → - 論文ワールドモデル/強化学習機械学習
PH-Dreamer: ポート・ハミルトン生成ダイナミクスによる物理駆動ワールドモデル
リカレント状態空間モデルにポート・ハミルトン構造を導入し、物理法則に従う潜在ダイナミクスを学習するワールドモデルを提案。エネルギー勾配を用いたActor-Criticで制御を最適化し、報酬予測精度とエネルギー効率を向上させた。
原題: PH-Dreamer: A Physics-Driven World Model via Port-Hamiltonian Generative Dynamics ／ Xueyu Luan, Chenwei Shi
日本語で読む → - 論文多目的強化学習ロボティクス
多目的方策最適化のための適応的スムーズ・チェビシェフ注意機構
ロボットの多目的強化学習において、非凸なパレート最適解を安定して発見するため、勾配干渉に応じて最適化の滑らかさを動的に調整する適応的スムーズ・チェビシェフ枠組みを提案した。
原題: Adaptive Smooth Tchebycheff Attention for Multi-Objective Policy Optimization ／ Alejandro Murillo-Gonzalez, Mahmoud Ali, Lantao Liu
日本語で読む → - 論文ロボット操作/強化学習機械学習
マルチモーダル生成ポリシーの微調整のための行動モード発見
強化学習による生成ポリシーの微調整で行動の多様性が失われる問題に対し、潜在的な行動モードを教師なしで発見し、相互情報量を内在報酬として利用することで、タスク成功率を保ちつつ多様な行動を維持する手法を提案した。
原題: Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies ／ Alberta Longhini, David Emukpere, Jean-Michel Renders 他
日本語で読む → - 論文強化学習/時間論理ロボティクス
時間論理のための価値関数：最適方策と安全フィルタ
時間論理仕様に対する価値関数の最適性と方策の最適性の微妙な関係を解明し、非マルコフ方策を用いて病理を回避する最適方策を構築するとともに、Q関数を複雑な時間論理仕様の安全フィルタとして利用する方法を示した論文。
原題: Value Functions for Temporal Logic: Optimal Policies and Safety Filters ／ Oswin So, William Sharpless, Sylvia Herbert 他
日本語で読む → - 論文触覚/強化学習/ベンチマークロボティクス
ロボ触覚オリンピアード2.0：触覚ベース強化学習の標準化ベンチマーク
触覚ベースの強化学習を標準化するため、4種類のロボット形態で「盲目的」操作を評価するGPU並列ベンチマークを提案し、既存手法より10倍高速な性能を達成した。
原題: roto 2.0: The Robot Tactile Olympiad ／ Elle Miller, Jayaram Reddy, Ayush Deshmukh 他
日本語で読む →