Nicolas Heess

収録論文 62本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• Gemini Robotics 1.5：高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げる
  VLA2025/10/1

  異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。

• 巧みな操作のための政策アイドリングの活用
  マニピュレーション2025/8/1

  ロボットの巧みな操作において、政策が特定の状態で動かなくなる「アイドリング」を検出し、その状態に摂動を加えることで探索を促し、性能を向上させる手法を提案。

• ExoStart: センサ付き外骨格による巧みな操作の効率的学習
  マニピュレーション2025/6/1

  低コストのウェアラブル外骨格で人間の手の動きを収集し、シミュレーションで動力学フィルタリングして強化学習の初期化に用いることで、ロボットハンドの巧みな操作を実機にゼロショット転移させる学習フレームワークを提案。

• Proc4Gem: 手続き的生成による物理的エージェンシーの基盤モデル
  sim2real2025/3/1

  物理シミュレーションで接触を含む軌道を大量生成し、そのデータでGeminiを微調整することで、言語指示に従って四足ロボットが実環境で物体を押し動かせるようにした研究。

• Gemini Robotics：AIを物理世界へ
  VLA2025/3/1

  Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。

• DemoStart: 実演主導の自動カリキュラムによる多指ロボットのsim-to-real
  sim2real2024/9/1

  シミュレーションでの少数の実演と疎な報酬のみから、3本指ロボットハンドの複雑なマニピュレーション行動を自動カリキュラム強化学習で獲得し、ゼロショットで実機に転移させる手法を提案した。

• 自己中心視覚と深層強化学習によるロボットサッカーの学習
  マルチエージェント強化学習2024/5/1

  自己中心的なRGB視覚のみを入力とし、関節レベルの行動を出力するマルチエージェントロボットサッカーの方策を深層強化学習で訓練し、シミュレーションから実機へ転移することに成功した。

• 生物・ロボットシステムのためのモデルフリー強化学習：理論と実践
  強化学習2024/5/1

  動物とロボットの身体制御を対象に、モデルフリー強化学習（特にactor-critic法）の数理的・アルゴリズム的側面を解説し、身体性を考慮したフィードバック制御の研究枠組みを提示する。

• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs
  2024/2/1
• 言語モデル予測制御による人間フィードバックからの高速学習
  VLA2024/2/1

  人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。

• Offline Actor-Critic Reinforcement Learning Scales to Large Models
  2024/2/1
• Foundations for Transfer in Reinforcement Learning: A Taxonomy of Knowledge Modalities
  2023/12/1
• Mastering Stacking of Diverse Shapes with Large-Scale Iterative Reinforcement Learning on Real Robots
  2023/12/1
• Replay across Experiments: A Natural Extension of Off-Policy RL
  2023/11/1
• Open X-Embodiment: Robotic Learning Datasets and RT-X Models
  2023/10/1
• Policy composition in reinforcement learning via multi-objective policy optimization
  2023/8/29
• Towards A Unified Agent with Foundation Models
  2023/7/1
• Language to Rewards for Robotic Skill Synthesis
  2023/6/1
• RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation
  2023/6/1
• A Generalist Dynamics Model for Control
  2023/5/1
• Barkour: Benchmarking Animal-level Agility with Quadruped Robots
  2023/5/1
• Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
  2023/4/1
• Lossless Adaptation of Pretrained Vision Models For Robotic Manipulation
  2023/4/1
• Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains
  2023/2/1
• SkillS: Adaptive Skill Sequencing for Efficient Temporally-Extended Exploration
  2022/11/1
• NeRF2Real: Sim2real Transfer of Vision-guided Bipedal Motion Skills using Neural Radiance Fields
  2022/10/1
• MO2: Model-Based Offline Options
  2022/9/1
• A Generalist Agent
  2022/5/1
• Revisiting Gaussian mixture critics in off-policy reinforcement learning: a sample-based approach
  2022/4/21
• Forgetting and Imbalance in Robot Lifelong Learning with Off-policy Data
  2022/4/1
• Imitate and Repurpose: Learning Reusable Robot Movement Skills From Human and Animal Behaviors
  2022/3/1
• Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies
  2021/12/1
• Learning Coordinated Terrain-Adaptive Locomotion by Imitating a Centroidal Dynamics Planner
  2021/11/1
• Evaluating model-based planning and planner amortization for continuous control
  2021/10/1
• Offline Meta-Reinforcement Learning for Industrial Insertion
  2021/10/1
• Learning Dynamics Models for Model Predictive Agents
  2021/9/1
• Is Curiosity All You Need? On the Utility of Emergent Behaviours from Curious Exploration
  2021/9/1
• On Multi-objective Policy Optimization as a Tool for Reinforcement Learning: Case Studies in Offline RL and Finetuning
  2021/6/1
• From Motor Control to Team Play in Simulated Humanoid Football
  2021/5/1
• Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban
  2020/10/1
• Learning Dexterous Manipulation from Suboptimal Experts
  2020/10/1
• Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion
  2020/8/1
• Data-efficient Hindsight Off-policy Option Learning
  2020/7/1
• dm_control: Software and Tasks for Continuous Control
  2020/6/1
• A Distributional View on Multi-Objective Policy Optimization
  2020/5/1
• Simple Sensor Intentions for Exploration
  2020/5/1
• Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning
  2020/2/1
• Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics
  2020/1/1
• Catch & Carry: Reusable Neural Controllers for Vision-Guided Whole-Body Tasks
  2019/11/1
• Imagined Value Gradients: Model-Based Policy Optimization with Transferable Latent Dynamics Models
  2019/10/1
• Compositional Transfer in Hierarchical Reinforcement Learning
  2019/6/1
• Value constrained model-free continuous control
  2019/2/1
• Self-supervised Learning of Image Embedding for Continuous Control
  2019/1/1
• Neural probabilistic motor primitives for humanoid control
  2018/11/1
• Hierarchical visuomotor control of humanoids
  2018/11/1
• Maximum a Posteriori Policy Optimisation
  2018/6/1
• Reinforcement and Imitation Learning for Diverse Visuomotor Skills
  2018/2/1
• Learning by Playing - Solving Sparse Reward Tasks from Scratch
  2018/2/1
• Learning human behaviors from motion capture by adversarial imitation
  2017/7/1
• Data-efficient Deep Reinforcement Learning for Dexterous Manipulation
  2017/4/1
• Learning and Transfer of Modulated Locomotor Controllers
  2016/10/1
• Sim-to-Real Robot Learning from Pixels with Progressive Nets
  2016/10/1