論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2026/11/9 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習探索ロボティクス
赤色雑音スケジューリングで滑らかなロボット学習を実現
強化学習の探索ノイズを訓練中に白色から赤色雑音へ変化させる49通りのスケジュールを比較し、赤色雑音へフェードさせると学習効率を保ちつつ動作のジャークを半減できることを示した。
原題: Fade to... Red? Scheduling Coloured Noise Exploration Supports Efficient Robot Learning with Reduced Movement Jerk ／ Francisco M. López, Francisco Cruz
日本語で読む → - 論文強化学習/着陸制御ロボティクス
DreamLander：6自由度世界モデル強化学習による惑星着陸機
DreamerV3を基にしたモデルベース強化学習で、6自由度の進入・降下・着陸問題に対する最適な誘導と制御を生成し、着陸誤差2m以内・速度0.3m/s未満を達成した研究。
原題: DreamLander: A 6-DOF World Model based Reinforcement Learning Planetary Lander ／ George Nehma, Patrick Quinn, Madhur Tiwari 他
日本語で読む → - 論文ソフトロボティクス/強化学習ロボティクス
ソフトロボティクスのための高速化強化学習：数年が数時間に
ソフトロボットの低次元不変多様体（aSSM）に基づく小型多項式モデルを強化学習の環境として用い、実機では3年相当のポリシー学習を3時間で実現し、RNNやTransformerより高精度な軌道追従を達成した。
原題: Accelerated Reinforcement Learning for Soft Robotics: Hours Instead of Years ／ Roshan S. Kaundinya, Hehui Zheng, Robert K. Katzschmann 他
日本語で読む → - 論文強化学習ロボティクス
オフポリシーRLとオンライン推論チューニングによるCoRL 2026 RoboEvalチャレンジ解法
自己価値関数を持つπ0.5ベースのポリシーをAWRとRECAPでオフポリシーRL訓練し、公式スコアのアドバンテージとオンライン推論パラメータ探索を組み合わせて両腕協調タスクで高スコアを達成した。
原題: Off-Policy RL with Online Inference Tuning: My Solution to the CoRL 2026 RoboEval Challenge ／ Ilia Larchenko
日本語で読む → - 論文量子強化学習ロボティクス
量子ビットから動作へ：ロボット箱詰め順序決定のための追跡可能な行動来歴を持つハイブリッド量子強化学習
量子回路の読み出しを唯一の学習入力とする強化学習で箱詰め順序を決定し、各判断をSHA-256指紋と運動計画・接触再現まで追跡可能にした枠組みを提案した。
原題: Qubit-to-Motion: Traceable Action Provenance in Hybrid QRL for Robotic Bin-Packing Sequencing ／ Hassen Nigatu, Howard Li
日本語で読む → - 論文オフライン強化学習機械学習
拡散ポリシーで誘導する拡散プランナーによるオフライン強化学習
拡散ポリシー（価値志向だが近視眼的）と拡散プランナー（長期志向だが振る舞い依存）をプランナーの実行段階で統合し、逆動力学の事前分布を価値最適化ポリシーで置き換えるDPDPを提案。D4RLで性能向上を実証。
原題: DPDP: Diffusion Policy-Steered Diffusion Planner for Offline Reinforcement Learning ／ Ruyi An, Mingyuan Zhou
日本語で読む → - 論文強化学習機械学習
いつ考えるかを学ぶ：強化学習のための適応的内部計算
状態ごとに必要な計算量が異なることに着目し、潜在表現の精緻化をいつ止めて行動するかを強化学習で学習する適応的内部計算手法を提案。固定ステップ方策より低遅延で同等以上の報酬を達成。
原題: Learning When to Think: Adaptive Internal Computation for Reinforcement Learning ／ Rohit Kumar Salla, Simon Stepputtis
日本語で読む → - 論文階層的強化学習機械学習
オプション内適合Q評価：非階層データからの階層的方策評価
階層的方策を、オプション注釈のないデータからでも評価できるよう、状態-オプション空間で価値関数を推定するIO-FQEを提案し、長期的な連続制御タスクでバイアス除去と誤差低減を示した。
原題: Intra-Option Fitted Q-Evaluation: Evaluating Hierarchical Policies from Non-Hierarchical Data ／ Yunfu Deng, Josiah P. Hanna
日本語で読む → - 論文強化学習機械学習
順序付き方策最適化
PPOの固定クリッピング範囲をサンプルごとに適応させ、重要度比をソートして裾の極端な比を制御するOPOを提案。MuJoCoとAtariで高い性能を示した。
原題: Ordered Policy Optimization ／ Dongkyu Derek Cho, Pan Xu
日本語で読む → - 論文強化学習/報酬モデリングロボティクス
プランナーにおけるグッドハート:サンプリングベース制御は人間選好から学習した報酬を悪用する
人間の選好から学習した報酬モデルに対するMPPIやbest-of-N探索が、真の目的関数を最大76%悪化させることを実証し、スコアラ誤差に基づく温度設定のχ²正則化MPPIが最悪ケースで最適であることを証明した論文。
原題: Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences ／ Soovadeep Bakshi, Apurba Bose
日本語で読む → - 論文モデルベース強化学習機械学習
テスト時モデルベース強化学習による世界モデルへの記憶の符号化
テスト時に勾配降下でエピソード観測の記憶を世界モデルのパラメータに書き込み、各エピソード固有の世界モデルを学習することで長期記憶を実現するTT-MBRLを提案した論文。
原題: Encoding Memory in World Models with Test-Time Model-Based Reinforcement Learning ／ Maxime Burchi, Fayaz Ali Dharejo, Radu Timofte
日本語で読む → - 論文拡散ポリシー/強化学習ロボティクス
潜在ノイズ表現ブリッジによる拡散ポリシーの効率的ファインチューニング
拡散・フローポリシーの強化学習による適応において、ノイズ空間と行動空間を共有表現で結ぶブリッジ方程式を導出し、ノイズエイリアシング問題を解消するLARBRIDアルゴリズムを提案した。歩行・操作タスクで2〜3倍の性能向上を達成。
原題: Efficient Diffusion Policy Fine Tuning with Latent Noise Representation Bridging ／ Yuanchu Liang, Yue Yang, An-Chi He 他
日本語で読む → - 論文強化学習システムロボティクス
強化学習における環境とトレーナー境界のサイレント故障検出
環境とトレーナー間の通信境界で発生するエラーを出さない故障を検出するため、両側でステップ台帳を保持して比較する手法を提案し、学習曲線では見逃す故障を全て特定できることを示した。
原題: Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning ／ Zuo Gou, Chenhao Lu
日本語で読む → - 論文強化学習/人間介入ロボティクス
人間介入からの楽観的探索によるロボット学習Q-OIL
実ユーザーの介入行動を分析し、進捗停滞時に介入し修正は非最適という傾向をモデル化。介入遷移に楽観的ボーナスを与え人間の修正へ探索を誘導するQ-OILを提案し、シミュレーションと実機で成功率を10-50%向上させた。
原題: Q-OIL: Optimistic Exploration in Learning from Human Interventions ／ Pranav Teegavarapu, Sriyash Poddar, Rico Qi 他
日本語で読む → - 論文ヒューマノイド/強化学習ロボティクス
人間のようにサッカーする：潜在運動事前分布による多様で俊敏なヒューマノイドサッカー
大規模な人間のサッカー動作キャプチャから潜在運動事前分布を蒸留し、移動・ドリブル・トラップ・キックを単一のスキル条件付き方策で統合的に学習させる階層型強化学習フレームワークを提案。Unitree G1にゼロショット転送し、実環境で俊敏かつ自然なサッカー動作を実現した。
原題: Playing Soccer Like Humans Do: Learning Versatile and Agile Humanoid Soccer via Latent Motion Priors ／ Haoyu Shao, Yunshen Wang, Jingze Zhang 他
日本語で読む → - 論文オフライン強化学習機械学習
MAC-v2: ピクセル入力からの長期的モデルベース価値展開
再構成不要の潜在ワールドモデルとアクションチャンキングを組み合わせ、ピクセルベースのオフライン強化学習で長期的なモデルベース価値展開を実現した手法MAC-v2を提案。
原題: MAC-v2: Long-horizon model-based value expansion from pixels ／ Kwanyoung Park, Sergey Levine
日本語で読む → - 論文強化学習/経験リプレイロボティクス
統計的レバレッジスコアによる多様性考慮型経験リプレイ
リプレイバッファ内の遷移を統計的レバレッジでスコアリングし、稀な経験を優先的にサンプリングする手法を提案。裾の重い特徴選択や軌跡窓への適用でロボット学習の多様性を向上させる。
原題: Diversity-Aware Experience Replay via Statistical Leverage Scores ／ Shaifalee Saxena, Alexander Scheinker
日本語で読む → - 論文強化学習機械学習
強化学習による汎用ロボットポリシーのマルチタスク自己改善スケーリング
汎用ロボットポリシーを展開時に強化学習で多様なタスクへ同時に自己改善できるか検証し、価値推定や資源配分の設計次第で未学習タスクにも汎化することを示した。
原題: Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement ／ Michal Korniak, Marco Bagatella, Ralf Römer 他
日本語で読む → - 論文安全強化学習ロボティクス
制御バリア関数でマルチエージェント強化学習を安全に：コネクテッド自動運転車のための再帰的実行可能な安全フィルタ
車両が停止するまでのホライズンで安全性を評価するBackup-Horizon CBFを提案し、制御制約下でも再帰的に実行可能で正確な車両・道路形状を考慮した分散型安全フィルタでMARLポリシーを学習から実運用まで一貫して安全化した。
原題: Safeguarding Multi-Agent Reinforcement Learning for Connected and Automated Vehicles with Recursively Feasible Control Barrier Functions ／ Jianye Xu, Yousef Sayed, Bassam Alrifaee
日本語で読む → - 論文強化学習機械学習
保守的な行動ノイズ方向最適化による残差強化学習
凍結した生成ポリシーをノイズ空間の方向学習と行動空間の残差で適応させる強化学習手法を提案し、単一空間最適化より高い成功率を達成した。
原題: CANDO: Conservative Action-Noise Directional Optimization for Residual Reinforcement Learning ／ Zeyu Gao, Chengkai Hou, Chaoyue Li 他
日本語で読む → - 論文逆運動学/強化学習ロボティクス
強化学習によるロボットアームの高精度逆運動学PolicyIK
姿勢フィードバックから関節参照を更新するゴール条件付き強化学習ポリシーで、ミリメートル精度の逆運動学を実現し、古典的IK制御器やVLAポリシーの実行を上回る精度を示した。
原題: PolicyIK: High-Precision Inverse Kinematics for Robot Arms with Reinforcement Learning ／ Yuhan Liu, Xinqi Liu, Zixuan Dong 他
日本語で読む → - 論文強化学習/自動設計ロボティクス
LLMをMDP設計者として活用する依存関係考慮型エージェントフレームワークによるロボット方策の自動生成
LLMを実行時の意思決定者ではなく設計者として使い、自然言語タスクから強化学習パイプライン（MDP定式化とシミュレータ実装）を自動構築する依存関係考慮型フレームワークARPGを提案し、Isaac Simで有効性を示した。
原題: LLMs as MDP Designers: A Dependency-Aware Agentic Framework for Automated Robot Policy Generation ／ Hong Je-Gal, Jinwoo Kim, Chanbin Yi 他
日本語で読む → - 論文強化学習ロボティクス
幾何学的サポートによる行動正則化でオンライン強化学習を改善
事前学習済み方策のサポートからの距離に基づいて罰則を与えるGSBRを提案し、サブ最適行動の排除と改善の両立を実現、4つのロボットベンチマーク19タスクで成功率を33%から95%に向上させた。
原題: GSBR: Geometric Support Behavior Regularization for Online RL ／ Charles Xu, Jacob Berg, Liyiming Ke 他
日本語で読む → - 論文強化学習/柔軟ロボティクスロボティクス
8本の柔軟アームで泳ぐ：協調は必要か？
8本の柔軟アームを持つ遊泳ロボットにおいて、腕間の位相結合を明示せず各腕の振幅を独立に強化学習する制御が、位相結合ありや端到端学習より高精度に速度・方向を追従できることを示した。
原題: To Coordinate or Not to Coordinate? Learning to Swim with Eight Soft Arms ／ Junkai Chen, Dehan Yuan, Yiyuan Zhang 他
日本語で読む → - 論文オフライン強化学習機械学習
タスク認識表現を備えたDecision Transformerによるオフライン・メタ強化学習
オフライン軌跡の対照学習や言語記述との整合など4要素を統合してタスク表現を学習し、それを条件とするDecision Transformer型メタ方策で未知タスクへのゼロショット・少数ショット適応を実現した研究。
原題: Decision Transformer with Task-Aware Representations for Offline Meta-Reinforcement Learning ／ Xinbo Zhao, Yuhang Liu, Xin Zhang 他
日本語で読む → - 論文強化学習機械学習
価値強制：全ノイズレベルでリターン分布を整合させる新手法
フローマッチングでリターン分布を推定し、全ノイズレベルでベルマン整合性を課すことで、限られたデータでも正確な価値学習を可能にする手法を提案。
原題: Value Forcing: Aligning Return Distributions at All Noise Levels ／ Chongyi Zheng, Zhiyuan Zhou, Qiyang Li 他
日本語で読む → - 論文強化学習/世界モデル機械学習
世界モデルは政策ランキングの正確性に必ずしも正しさを要さない：相対的限界と監査の限界
学習した世界モデルの誤差が共有される場合でも政策の相対ランキングは保たれ得ることを示し、少数の実環境監査を効率化する手法RAVELを提案・検証した論文。
原題: World Models Need Not Be Right to Rank Policies Right: Relative Bounds and Audit Limits ／ Ahanaf Hasan Ariq, Hasaan Ahmad
日本語で読む → - 論文強化学習ロボティクス
高信頼下界近似に基づく強化学習によるフレキシブル路線交通の運行制御
重要度サンプリングと集中不等式を微分可能な代理ネットワークと組み合わせ、高信頼性能下界を推定・最適化する強化学習フレームワークHi-CoLAを提案し、フレキシブル路線交通の運行制御で平均・テールリスク性能を改善した。
原題: Hi-CoLA: High Confidence Lower Bound Approximation Based Reinforcement Learning for Flex-Route Transit Operation Control ／ Qi Kang, Haris N. Koutsopoulos, Hongliang Guo 他
日本語で読む → - 論文強化学習/ロバスト制御ロボティクス
関節健康状態を考慮した強化学習によるアクチュエータ劣化下のロバスト制御
各関節のアクチュエータ劣化を連続的な健康ベクトルとして推定し、劣化を考慮して制御を再配分する強化学習フレームワークを提案。歩行・操作タスクで劣化時にも高い性能を維持。
原題: Joint-Health-Aware Reinforcement Learning for Robust Robot Control Under Actuator Degradation ／ Haifa Zhang, Yijing Wang, Zhiqiang Zuo
日本語で読む → - 論文強化学習/記憶AI
情報価値で記憶検索と観測への信用割当を同時に解決
学習済み世界モデルと過去のロールアウトから「情報価値」を推定し、記憶検索の最適化と観測への信用割当を一つの量で扱う手法を提案した。
原題: Cheap Retrieval and Observation Credit Assignment from One Quantity: The Value of Information ／ Daniel Strauss, Nikolaos Sotirakis, Zhenshan Bing 他
日本語で読む →