Lerrel Pinto
収録論文 80本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- WetRobo: 生物学実験室向けコーディングエージェント用再現可能ロボットキット実験室自動化2026/9/16
実験室間で移設可能なロボットアームと機材・コード・スキルファイルからなるキットを構築し、コーディングエージェントが自然言語タスクを実行、VLAより環境変化に頑健なことを示した。
- パッチポリシー：高密度視覚表現による効率的な身体制御VLA2026/7/1
Vision Transformerの事前学習済みパッチ特徴を直接利用する軽量なロボットポリシーを提案し、グローバル表現や大規模VLAを凌ぐ性能を達成した。
- 人間の普遍的な把握動作の生成把握動作生成2026/6/1
スマートグラスで収集した大規模な人間の把握動作データを用いて、任意の物体に対する多様な人間の把握姿勢を生成するフローマッチングモデルを提案し、ロボットハンドへの転用でゼロショット把握を実現した。
- 階層的潜在行動モデルVLA2026/3/1
長期的な時間構造を捉えるため、事前学習済みの潜在行動モデルを低レベル抽出器として用い、潜在行動系列を高レベルの潜在スキルに集約する階層的潜在行動モデルHiLAMを提案した。
- Ruka-v2: 手首と指の開閉を備えた腱駆動型オープンソース器用ハンドハードウェア/器用操作2026/3/1
腱駆動のオープンソース人型ハンドRukaを改良し、手首の2自由度と指の開閉を追加したRuka-v2を設計・評価した。遠隔操作タスクで完了時間が51.3%短縮、成功率が21.2%向上し、ロボット学習への応用も示した。
- 量より質：データ中心ロボット学習のための影響関数によるデモンストレーションキュレーションデータキュレーション2026/3/1
デモンストレーション学習において、検証データへの損失削減への貢献度を影響関数で推定し、高品質なデータを選別する手法QoQを提案。シミュレーションと実環境で既存手法より高い性能を達成。
- 接触アンカーポリシー：接触条件付けによる強力なロボットユーティリティモデルマニピュレーション2026/2/1
言語指示の代わりに空間上の接触点を条件として使い、モジュール型ユーティリティモデル群として構成した操作ポリシーCAPを提案。軽量シミュレータEgoGymでの実機-シミュレーション反復により、23時間のデモデータのみで新環境・新機体にゼロショット汎化し、最先端VLAを56%上回る。
- YOR: 汎用ロボティクス研究のための自作モバイルマニピュレータモバイルマニピュレーション2026/2/1
全方向移動ベース・伸縮リフト・双腕を組み合わせた低コスト（1万ドル以下）のオープンソース移動マニピュレータを開発し、全身協調動作や双腕操作、自律ナビゲーションを実証した。
- Point Bridge: クロスドメイン方策学習のための3D表現sim2real2026/1/1
VLMで抽出した点群表現とTransformer方策を用い、合成データのみで実世界マニピュレーションのゼロショットsim-to-real転移を実現するフレームワーク。
- スマートレンズから器用さを獲得：日常環境での人間デモによる多指ロボットマニピュレーションマニピュレーション2025/11/1
Aria Gen 2グラスで日常環境の人間の手の動きを収集し、ロボットデータなしで多指ハンドの3D点ベース方策を学習するフレームワークAINAを提案。
- 力触覚を感じろ：人間の接触から学ぶ力制御マニピュレーション触覚2025/6/1
触覚グローブと視覚から人間の力加減を学習し、触覚センサ付きロボットアームで力に敏感なマニピュレーションを実現するシステムを提案。
- 触覚は視覚の終わるところから始まる：接触を伴う操作のための汎化可能な方策マニピュレーション2025/6/1
視覚言語モデルで物体を定位し、視覚と触覚を用いた局所的な方策で接触を伴う操作を行うViTaLを提案し、未知環境で約90%の成功率を達成した。
- eFlesh: カットセル微細構造を用いた高カスタマイズ可能な磁気触覚センサ触覚2025/6/1
低コストで自作可能な磁気触覚センサeFleshを提案し、接触位置・力の高精度推定と滑り検出、視触覚制御によるマニピュレーション性能向上を実現した。
- EgoZero: スマートグラスからのロボット学習模倣学習2025/5/1
スマートグラスで撮影した人間の作業デモのみからロボットのマニピュレーション方策を学習し、実機へゼロショット転移させる手法を提案。
- RUKA：学習を活用したヒューマノイドハンド設計の再考マニピュレーション2025/4/1
3Dプリントと既製品で作られた腱駆動型の低コストヒューマノイドハンドを開発し、モーションキャプチャデータから関節・指先とアクチュエータの対応モデルを学習することで巧みな操作を実現した。
- ポイントポリシー：ロボットマニピュレーションのためのキーポイントによる観測と行動の統合マニピュレーション2025/2/1
人間のデモ動画のみからロボット方策を学習する手法を提案し、キーポイントで物体状態を表現することで実世界8タスクで大幅な性能向上を達成した。
- P3-PO: ロボット方策の視覚空間汎化のための指示的点事前分布マニピュレーション2024/12/1
人間が1枚のデモ画像上で指定した意味的な点を既存の視覚モデルでデータセット全体に伝播させ、その点を状態表現として方策学習に用いることで、新しい物体や混雑環境への汎化性能を大幅に向上させた研究。
- DynaMem: オープンワールド移動マニピュレーションのためのオンライン動的時空間セマンティックメモリ移動マニピュレーション2024/11/1
ロボットが環境の変化に合わせて3Dメモリを動的に更新し、移動・出現・消滅する物体を扱えるようにする手法を提案。実機で非静止物体のピック・アンド・ドロップ成功率70%を達成した。
- DINO-WM: 事前学習済み視覚特徴量上のワールドモデルによるゼロショット計画ワールドモデル2024/11/1
DINOv2のパッチ特徴量を予測するワールドモデルをオフライン軌道から学習し、行動列最適化により未見タスクをゼロショットで計画する手法を提案。
- 未校正の触覚スキンによる精密で接触の多いマニピュレーションの学習触覚2024/10/1
磁気スキンセンサを視覚情報とトークンとして統合するTransformerベースのViSkフレームワークを提案し、カードスワイプやプラグ挿入などの接触の多い実世界タスクで視覚のみ・光学触覚ベースの手法を大きく上回る性能を示した。
- 四足歩行のための神経回路に基づくアーキテクチャ事前分布歩行2024/10/1
哺乳類の脊髄・四肢の神経回路を模したANNアーキテクチャを四足歩行に適用し、MLPより少ないデータと桁違いに少ないパラメータで同等の性能と高い汎化・実機展開を実現した。
- 物体指向型報酬による人間とロボットの器用さのギャップの橋渡しマニピュレーション2024/10/1
人間の動画から物体の軌道を抽出して報酬を計算し、多指ロボットハンドのポリシーをオンライン微調整する手法HuDORを提案。
- DynaMo: 視覚運動制御のためのドメイン内ダイナミクス事前学習模倣学習2024/9/1
専門家のデモンストレーションのみを用いて、潜在空間での逆ダイナミクスモデルと順ダイナミクスモデルを自己教師あり学習し、視覚表現を獲得する手法を提案。模倣学習の性能を向上させる。
- AnySkin: ロボット触覚のためのプラグアンドプレイ皮膚センシング触覚2024/9/1
磁気式触覚センサAnySkinを提案し、接着剤不要で交換可能な設計と、学習済みマニピュレーションポリシーの個体間ゼロショット汎化を実現した。
- ロボットユーティリティモデル：新環境へのゼロショット展開のための汎用ポリシーマニピュレーション2024/9/1
ファインチューニングなしで新しい環境や未知の物体に直接適応できるゼロショットロボットポリシーを訓練・展開するフレームワークを提案し、5つの実用的タスクで平均90%の成功率を達成した。
- BAKU: マルチタスク方策学習のための効率的Transformer模倣学習2024/6/1
観察トランク・行動チャンキング・マルチセンサ観察・行動ヘッドを組み合わせたTransformerで、少ない実演データから多様なロボットタスクの方策を効率的に学習する。
- OPEN TEACH：ロボットマニピュレーション向け汎用テレオペレーションシステムテレオペレーション2024/3/1
Meta Quest 3を使った低コストなVRテレオペレーションシステムを開発し、多指ハンドや双腕ロボットを最大90Hzで直感的に操作可能にした。38タスクで有効性を示し、収集データが10の器用な接触操作タスクの模倣学習に使えることを実証した。
- 潜在行動による行動生成模倣学習2024/3/1
連続行動を階層的ベクトル量子化でトークン化し、マルチモーダルな行動生成・条件付き生成・部分観測を扱うVQ-BeTを提案。模擬操作・自動運転・ロボティクスなど7環境でBeTやDiffusion Policiesを上回り、推論速度も5倍高速化した。
- 連続的な系列間モデリングのための階層的状態空間モデル時系列モデリング2024/2/1
生のセンサ系列から物理量の系列を予測するため、構造化状態空間モデルを積み重ねた時間的階層モデルHiSSを提案し、6つの実世界データセットでTransformerやMamba等を上回る精度を示した。
- OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics2024/1/1
- On Bringing Robots Home2023/11/1
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models2023/10/1
- PolyTask: Learning Unified Policies through Behavior Distillation2023/10/1
- See to Touch: Learning Tactile Dexterity through Visual Incentives2023/9/1
- Train Offline, Test Online: A Real Robot Learning Benchmark2023/6/1
- NetHack is Hard to Hack2023/5/30
- Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations2023/3/1
- Dexterity from Touch: Self-Supervised Pre-Training of Tactile Representations with Robotic Play2023/3/1
- CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory2022/10/1
- Holo-Dex: Teaching Dexterity with Immersive Mixed Reality2022/10/1
- From Play to Policy: Conditional Behavior Generation from Uncurated Robot Data2022/10/1
- That Sounds Right: Auditory Self-Supervision for Dynamic Robot Manipulation2022/10/1
- Behavior Transformers: Cloning $k$ modes with one stone2022/6/1
- Watch and Match: Supercharging Imitation with Regularized Optimal Transport2022/6/1
- Context is Everything: Implicit Identification for Dynamics Adaptation2022/3/1
- RB2: Robotic Manipulation Benchmarking with a Twist2022/3/1
- Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation2022/3/1
- One After Another: Learning Incremental Skills for a Changing World2022/3/1
- The Surprising Effectiveness of Representation Learning for Visual Imitation2021/12/1
- URLB: Unsupervised Reinforcement Learning Benchmark2021/10/1
- Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning2021/7/20
- Playful Interactions for Representation Learning2021/7/1
- Simultaneous Navigation and Construction Benchmarking Environments2021/3/1
- Task-Agnostic Morphology Evolution2021/2/1
- Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation2020/12/1
- Learning Cross-Domain Correspondence for Control with Dynamics Cycle-Consistency2020/12/1
- Robust Policies via Mid-Level Visual Representations: An Experimental Study in Manipulation and Navigation2020/11/1
- Visual Imitation Made Easy2020/8/1
- Self-Supervised Policy Adaptation during Deployment2020/7/1
- Swoosh! Rattle! Thump! -- Actions that Sound2020/7/1
- Automatic Curriculum Learning through Value Disagreement2020/6/1
- State-Only Imitation Learning for Dexterous Manipulation2020/4/1
- Learning Predictive Representations for Deformable Objects Using Contrastive Estimation2020/3/1
- Hierarchically Decoupled Imitation for Morphological Transfer2020/3/1
- Generalized Hindsight for Reinforcement Learning2020/2/1
- Learning to Manipulate Deformable Objects without Demonstrations2019/10/1
- Environment Probing Interaction Policies2019/7/1
- PyRobot: An Open-source Robotics Framework for Research and Benchmarking2019/6/1
- Robot Learning via Human Adversarial Games2019/3/1
- Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation2018/10/1
- Sample-Efficient Learning of Nonprehensile Manipulation Policies via Physics-Based Informed State Distributions2018/10/1
- Robot Learning in Homes: Improving Generalization and Reducing Dataset Bias2018/7/1
- Asymmetric Actor Critic for Image-Based Robot Learning2017/10/1
- CASSL: Curriculum Accelerated Self-Supervised Learning2017/8/1
- Learning to Fly by Crashing2017/4/1
- Robust Adversarial Reinforcement Learning2017/3/1
- Supervision via Competition: Robot Adversaries for Learning Tasks2016/10/1
- Learning to Push by Grasping: Using multiple tasks for effective learning2016/9/1
- The Curious Robot: Learning Visual Representations via Physical Interactions2016/4/1
- Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours2015/9/1