Pulkit Agrawal

Massachusetts Institute of Technology

収録論文 67本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• ワークスペースモデル：顕著性駆動型監督による軽量ロボットメモリ
  マニピュレーション2026/9/17

  訓練時にVLMでタスクに必要な情報を抽出し、軽量な潜在メモリ「ワークスペーストークン」に蒸留することで、展開時にVLM推論なしで記憶を要する操作タスクを解けるようにした。

• 少ないデータから多くを学ぶ：後知恵からの強化学習
  VLA/強化学習2026/7/10

  VLAモデルの強化学習後訓練において、失敗したロールアウトを実際に達成したタスクに再ラベル付けする「後知恵からの学習」を提案し、サンプル効率を5倍向上させた。

• プロンプト駆動探索
  強化学習/探索2026/7/9

  ロボット操作や推論タスクにおいて、報酬が得られない初期状態からでも、視覚言語モデルがロールアウト動画を分析してプロンプトを書き換えることで探索を促進し、強化学習の成功を可能にする手法を提案した。

• 日常の人間ビデオを用いたロボット操作ポリシーの共学習で重要な要素は何か？
  操作学習2026/6/4

  ロボット操作ポリシーの共学習に日常の人間ビデオを用いる際、手のポーズの品質とネットワークの専門化が重要であることを示し、低ロボットデータ環境で成功率を29.7%向上させるレシピを提案した。

• KaRMA: ロボットハンドの巧緻操作能力を測る運動学的指標
  マニピュレーション2026/5/1

  ロボットハンドの指先で物体を転がしながら連続的に動かす巧緻操作能力を、運動学のみで定量化する新しい指標KaRMAを提案し、16種類のハンドで評価した。

• 学習のためのチューニング：コントローラゲインがロボットポリシー学習をどう形作るか
  ロボット学習2026/4/1

  ロボットの操作ポリシー学習における位置コントローラのゲイン設定が、学習アルゴリズム（模倣学習、強化学習、sim-to-real転移）に与える影響を体系的に調査し、最適なゲイン選択はタスクの特性ではなく学習パラダイムに依存することを示した論文。

• 幾何力学とスピンモデル双対性による非対称多脚ロコモーションの接触計画
  歩行2026/2/1

  幾何力学と統計力学のスピンモデル双対性を組み合わせ、多脚ロボットの接触計画をグラフ最適化問題として定式化し、従来の対称歩容を超える非対称歩容を発見した研究。

• SoftMimic: 例からの柔軟な全身制御の学習
  全身制御2025/10/1

  人間の動作例から、外部からの力に柔軟に応答しながらバランスを保つヒューマノイドの全身制御方策を強化学習で学習するフレームワークを提案。

• DEXOP：巧みな人間操作をロボットへ転移するデバイス
  マニピュレーション2025/9/1

  人間の手指をロボットハンドに機械的に接続する受動型外骨格DEXOPを開発し、視覚・触覚データを大規模に収集してロボットの巧みな操作スキルを効率的に学習させる手法を提案した。

• DexWrist：制約環境と動的マニピュレーションのためのロボット手首
  マニピュレーション2025/7/1

  準ダイレクト駆動と非結合型パラレル機構を組み合わせたコンパクトなロボット手首を開発し、狭い環境での作業空間拡大と接触を伴う動的タスクの安定化を実現した。

• 深層強化学習によるソフトアクチュエータ昆虫サイズ飛行ロボットのホバリング飛行
  飛行制御/強化学習2025/2/1

  遅延や不確かさに対処するため、状態行動再マッチング付き行動クローニングとPPOを組み合わせた深層強化学習制御器を設計し、720mgと850mgのソフト駆動昆虫サイズ飛行ロボットでゼロショットホバリングを実現した。

• アスレチックな移動操作のためのSim-to-Realギャップの橋渡し
  sim2real2025/2/1

  実世界データを活用したUnsupervised Actuator Netと参照軌道を用いた事前学習・微調整により、ロボットが物を持ち上げたり投げたりする動的な移動操作をシミュレーションから実機へ高精度に転移させる手法を提案。

• マルチタスク学習のための専門家混合デノイザーを用いた効率的拡散トランスフォーマーポリシー
  模倣学習/拡散ポリシー2024/12/1

  模倣学習向けに、ノイズ条件付きルーティングとスパースな専門家を組み合わせたMixture-of-Denoising Experts (MoDE) を提案し、拡散トランスフォーマーポリシーの計算コストを大幅に削減しつつ、複数のベンチマークで最先端性能を達成した。

• 超線形スケーリングを実現するロボット学習
  sim2real2024/12/1

  クラウドソーシングで実世界シーンのデジタルツインを収集し、シミュレーション上で強化学習とモデル生成デモを組み合わせて、人間の労力に対して超線形的に性能が向上するデータ収集・学習パイプラインを提案。

• ロボット基盤モデル監査のための身体性レッドチーミング
  VLA2024/11/1

  視覚言語モデルを使って文脈に即した難易度の高い指示を自動生成し、言語条件付きロボットモデルの性能と安全性を評価する手法を提案した。

• 逆生成モデリングによる少数ショットタスク学習
  少数ショット学習2024/11/1

  事前学習した可逆生成モデルを使い、重み更新なしで数例から新しいタスク概念（目標や動作スタイル）を学習する手法を提案。物体再配置・ナビゲーション・動作キャプション・自動運転・実機卓上操作で検証。

• 見回すことを学ぶ：人間らしい可動ネックによる遠隔操作と学習の強化
  遠隔操作2024/11/1

  人間の首の動きを模した5自由度の可動ネックを遠隔操作システムに組み込み、覗き込みや傾け動作で作業効率と没入感を高め、模倣学習による自律方策の訓練も改善できることを示した。

• DexHubとDART：インターネット規模のロボットデータ収集に向けて
  データ収集/遠隔操作2024/11/1

  クラウドシミュレーションとARを組み合わせた遠隔操作プラットフォームDARTを提案し、クラウドソーシングによるロボットデータ収集を実現。収集データはDexHubに蓄積され、実世界への転移も確認された。

• ORSO: オンライン報酬選択と方策最適化による報酬設計の加速
  強化学習/報酬設計2024/10/1

  報酬整形関数の選択をオンラインモデル選択問題として定式化し、人間の介入なしに高性能な報酬関数を自動特定する手法を提案。連続制御タスクでデータ効率と計算時間を大幅に改善。

• 拡散方策の政策最適化
  VLA2024/9/1

  拡散モデルベースの方策を強化学習の政策勾配法でファインチューニングするDPPOを提案し、ロボット操作タスクで高い性能と安定性を示した。

• EyeSight Hand：視覚ベース触覚センサと柔軟アクチュエーションを統合した全駆動型巧みなロボットハンドの設計
  マニピュレーション2024/8/1

  7自由度の人間型ロボットハンドに視覚ベースの触覚センサと準直接駆動を統合し、模倣学習による複雑な操作タスクで触覚フィードバックの有効性を示した。

• 日常指：日常のインタラクティブ操作のニーズに応えるロボット指
  マニピュレーション2024/8/1

  30種類の日常タスクをこなすための要件を満たす、直列弾性アクチュエーションを用いたコンパクトなロボット指を開発し、2指ハンドで皿の出し入れや薄い物体・繊細な物体の把持を実証した。

• 模倣から洗練へ：精密組立のための残差強化学習
  マニピュレーション2024/7/1

  行動クローニング（BC）で教えたロボットの精密組立タスクにおける信頼性の飽和問題を解決するため、凍結したBCモデルに閉ループの残差ポリシーを強化学習で追加するResiPを提案。

• 野菜の皮むき：制約付き巧みな操作のケーススタディ
  マニピュレーション2024/7/1

  食品の皮むきという下流タスクに向けて、把持を維持しながら物体を回転させる制約付き巧みな操作コントローラを学習するシステムを提案した。

• ROER: 正則化付き最適経験リプレイ
  強化学習2024/7/1

  TD誤差による優先度付けを占有測度最適化の観点から再解釈し、KL正則化に基づく新しい経験リプレイ手法ROERを提案。連続制御タスクやオフライン→オンライン微調整で性能向上を示した。

• 自動環境整形こそが強化学習の次のフロンティア
  sim2real2024/7/1

  ロボット強化学習の主要なボトルネックはアルゴリズムではなく、観測・行動・報酬・シミュレーション力学といった訓練環境の設計（環境整形）であり、その自動化を研究コミュニティが目指すべきだと主張するポジションペーパー。

• 脚式マニピュレーションのための力制御学習
  脚式マニピュレーション2024/5/1

  力センサを使わずに強化学習で直接的な力制御を学習し、四脚ロボットとアームの全身制御で重力補償やインピーダンス制御を実現した研究。

• Rank2Reward: 受動的動画から整形報酬関数を学習
  模倣学習2024/4/1

  タスク実行の動画からフレームの時間的順序を学習し、強化学習のための整形報酬関数を推論する手法を提案。

• JUICER: ロボット組立のためのデータ効率の良い模倣学習
  模倣学習2024/4/1

  少数の人間の実演データから、精密で長期的な組立作業を模倣学習で実現するパイプラインを提案し、シミュレーション上の家具組立タスクで有効性を示した。

• シミュレーションで現実を再現する：実世界からシミュレーションを経て実世界に戻るロバストマニピュレーション手法
  マニピュレーション2024/3/1

  少量の実世界データからデジタルツインを構築し、強化学習で模倣学習ポリシーをロバスト化するreal-to-sim-to-realパイプラインを提案。

• Learning to See Physical Properties with Active Sensing Motor Policies
  2023/11/1
• Autonomous Robotic Reinforcement Learning with Asynchronous Human Feedback
  2023/10/1
• Compositional Foundation Models for Hierarchical Planning
  2023/9/1
• Lifelong Robot Learning with Human Assisted Language Planners
  2023/9/1
• Grid Cell-Inspired Fragmentation and Recall for Efficient Map Building
  2023/7/1
• Parallel $Q$-Learning: Scaling Off-policy Reinforcement Learning under Massively Parallel Simulation
  2023/7/1
• Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback
  2023/7/1
• Diagnosis, Feedback, Adaptation: A Human-in-the-Loop Framework for Test-Time Policy Adaptation
  2023/7/1
• Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement
  2023/7/1
• Self-Supervised Reinforcement Learning that Transfers using Random Features
  2023/5/26
• DribbleBot: Dynamic Legged Manipulation in the Wild
  2023/4/1
• TactoFind: A Tactile Only System for Object Retrieval
  2023/3/1
• Aligning Robot and Human Representations
  2023/2/1
• Geometry of contact: contact planning for multi-legged robots via spin models duality
  2023/2/1
• Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior
  2022/12/1
• Discovering Generalizable Spatial Goal Representations via Graph-based Active Reward Learning
  2022/11/1
• SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields
  2022/11/1
• Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes
  2022/11/1
• Stable Object Reorientation using Contact Plane Registration
  2022/8/1
• Rapid Locomotion via Reinforcement Learning
  2022/5/1
• An Integrated Design Pipeline for Tactile Sensing Robotic Manipulators
  2022/4/1
• Stubborn: A Strong Baseline for Indoor Object Navigation
  2022/3/1
• Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation
  2021/12/1
• A System for General In-Hand Object Re-Orientation
  2021/11/1
• Learning to Jump from Pixels
  2021/10/1
• 3D Neural Scene Representations for Visuomotor Control
  2021/7/1
• An End-to-End Differentiable Framework for Contact-Aware Robot Design
  2021/7/1
• Learning Task Informed Abstractions
  2021/6/1
• Residual Model Learning for Microrobot Control
  2021/4/1
• A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects
  2020/11/1
• Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
  2019/12/1
• Learning Instance Segmentation by Interaction
  2018/6/1
• Zero-Shot Visual Imitation
  2018/4/1
• Curiosity-driven Exploration by Self-supervised Prediction
  2017/5/1
• Combining Self-Supervised Learning and Imitation for Vision-Based Rope Manipulation
  2017/3/1
• Learning to Poke by Poking: Experiential Learning of Intuitive Physics
  2016/6/1
• Learning to See by Moving
  2015/5/1