Dinesh Jayaraman
University of Pennsylvania
収録論文 50本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- LEMCA: LLMによる効率的なモード切替制御アーキテクチャの合成制御アーキテクチャ/LLM2026/9/18
LLMを進化的ループで用いて、制御モードとリソース配分、モード遷移を自動設計し、単一構成の制御より効率的なモード切替制御を合成する手法を提案。
- IMLE-VLA：Vision-Language-Actionポリシーのための高速単一ステップ行動生成VLA2026/9/10
拡散・フローマッチング型の反復サンプリング行動ヘッドをcIMLEによる単一ステップ生成器に置き換え、推論を最大3.67倍高速化しつつLIBEROで98.0%の成功率を達成したVLAポリシー。
- LENS: LLMによる環境簡略化ガイドによるクラッタ環境での計画と制御マニピュレーション2026/7/1
LLMを用いてシーン内の物体をタスクに応じて統合・削除し、動的な抽象化を自動生成することで、既存の計画・制御手法の性能をクラッタ環境で向上させる手法を提案した。
- シーングラフによるロボット模倣学習の空間・時間的文脈拡張模倣学習2026/6/1
模倣学習にシーングラフを動的メモリとして用い、部分観測環境での長期的推論と汎化性能を向上させる手法を提案した。
- OmniGuide：汎用ロボットポリシーを強化する万能ガイダンス場VLA2026/3/1
3D基盤モデルやVLMなどの多様なガイダンスを微分可能なエネルギー関数として表現し、VLAモデルの行動サンプリングを誘導することで、複雑な操作タスクの成功率と安全性を向上させるフレームワーク。
- TiPToP: 計画を行うモジュラーなオープン語彙ロボットマニピュレーションシステムマニピュレーション2026/3/1
事前学習済み基盤モデルとGPU加速タスク・モーションプランナを組み合わせ、RGB画像と言語から直接ロボット操作を計画・実行するモジュラーシステムを提案。訓練データ不要でVLAを上回る成功率と速度を達成。
- Tether: 対応関係駆動の軌道ワーピングによる自律的機能プレイ模倣学習2026/3/1
少数のデモから意味的キーポイント対応を用いてアクションをワープするオープンループポリシーを提案し、それを用いて実世界で自律的にマルチタスクのプレイデータを収集・改善する手法を紹介する。
- 実世界強化学習による能動的知覚行動の獲得マニピュレーション2025/12/1
訓練時のみ利用可能な特権センサを活用した非対称アドバンテージ重み付き回帰（AAWR）を提案し、部分観測下で情報収集する能動的知覚行動を実ロボットで効率的に学習させる手法を実証した。
- Maestro：視覚言語モデルでロボティクスモジュールを統合するゼロショット汎用ロボットVLA2025/11/1
VLMコーディングエージェントが知覚・計画・制御モジュールを動的に組み合わせてプログラム的政策を生成し、ゼロショットで汎用ロボットを実現する手法を提案。
- TimeRewarder：受動的動画からフレーム間時間距離で密報酬を学習強化学習/報酬設計2025/9/1
フレーム間の時間距離をモデル化し、ロボット実演や人間動画からタスク進捗を推定して強化学習の密報酬を生成する手法を提案。
- RICL: 事前学習済み視覚-言語-行動モデルへの文脈内適応性の付与VLA2025/8/1
模倣学習で事前学習されたVLAモデルに、少数の実演データを用いた追加学習で文脈内学習能力を後付けし、パラメータ更新なしで新しいマニピュレーションタスクを教えられるようにした。
- VLMgineer: 視覚言語モデルをロボットの道具職人にVLA2025/7/1
視覚言語モデルのコード生成と進化的探索を組み合わせ、タスクを解くための物理ツールとその操作計画を自動で共設計するフレームワークを提案し、日常的な操作タスクの新ベンチマークで有効性を示した。
- RoboArena：汎用ロボットポリシーの分散型実世界評価ロボット評価/ベンチマーク2025/6/1
評価者ネットワークが自由にタスクと環境を選び、ペア比較の二重盲検評価を集約することで、汎用ロボットポリシーをスケーラブルかつ公平にランキングする手法を提案し、7機関・600以上の実機評価で有効性を示した。
- 条件を揃えた比較：クアッドロータ軌道追従における古典制御と学習制御の公平な評価制御・強化学習2025/6/1
クアッドロータの軌道追従において、強化学習と幾何学制御を公平に比較するための実験プロトコルを提案し、従来の比較にあった非対称なバイアスを解消した結果、両者の性能差は従来報告より小さいことを示した。
- ZeroMimic: Web動画からロボット操作スキルを蒸留模倣学習2025/3/1
人間の一人称視点動画データセットから、多様な物体や未知の環境で即時展開可能な画像ゴール条件付き操作スキルポリシーを生成するシステムを提案。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- Eurekaverse：大規模言語モデルによる環境カリキュラム生成sim2real2024/11/1
大規模言語モデルを用いて、四足ロボットのパルクール学習のための難易度が漸進的に上がる環境を自動生成する手法を提案し、実世界への転移に成功した。
- 視覚運動制御のためのタスク指向階層的物体分解マニピュレーション2024/11/1
物体や部品ごとに表現を階層的に分解し、タスクに応じて組み合わせることで、模倣学習の効率と汎化性能を高める手法HODORを提案した。
- 対称性を活用した自由飛行ロボットの軌道追従制御器の学習加速制御/強化学習2024/9/1
浮遊ベースを持つロボットのリー群対称性を利用し、MDP準同型に基づいて低次元の商MDPで学習した方策を元の系の最適追従制御器に持ち上げる手法を提案し、PPOによる3系の実験で学習加速と追従誤差低減を示した。
- DrEureka: 言語モデルが導くSim-to-Real転送sim2real2024/6/1
大規模言語モデルを活用し、報酬関数とドメインランダム化を自動設計することで、四足歩行や器用な操作のシミュレーションから実機への転送を人手を介さず実現した研究。
- 汎用事前学習済みViTを物体中心シーンエンコーダとしてマニピュレーション方策に転用マニピュレーション2024/5/1
汎用の事前学習済みVision Transformerのアテンションから物体らしい領域を切り出し、追加学習なしで物体中心の埋め込み表現を生成するSOFTを提案し、マニピュレーション方策の性能を大幅に向上させた。
- 特権センシングによる強化学習の足場づくり強化学習2024/5/1
訓練時のみ利用可能な高価なセンサ情報を批評家や世界モデルなどの補助要素に活用し、安価なセンサのみで動作する方策を効率的に学習する手法「Scaffolder」を提案。
- 「何」と「どこ」の基盤モデルを組み合わせた物体中心表現によるロボティクス物体中心表現2024/4/1
セグメンテーションで物体の位置を特定し、事前学習済みモデルでその物体の特徴を記述することで、追加学習なしにロボット制御向けの物体中心表現を構築するフレームワークPOCRを提案。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- Transformerは物体間の空間関係を捉えられるか空間関係認識2024/3/1
物体間の空間関係を認識するベンチマークを提案し、Transformerの長距離注意を活用したRelatiViTが既存手法を大きく上回ることを示した。
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models2023/10/1
- Universal Visual Decomposer: Long-Horizon Manipulation Made Easy2023/10/1
- Memory-Consistent Neural Networks for Imitation Learning2023/10/1
- Eureka: Human-Level Reward Design via Coding Large Language Models2023/10/1
- LIV: Language-Image Representations and Rewards for Robotic Control2023/6/1
- Planning Goals for Exploration2023/3/1
- Dynamic Grasping with a Learned Meta-Controller2023/2/1
- Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning2022/12/1
- Long-HOT: A Modular Hierarchical Approach for Long-Horizon Object Transport2022/10/1
- VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training2022/10/1
- Vision-based Perimeter Defense via Multiview Pose Estimation2022/9/1
- Fighting Fire with Fire: Avoiding DNN Shortcuts through Priming2022/6/1
- Know Thyself: Transferable Visual Control Policies Through Robot-Awareness2021/7/1
- Keyframe-Focused Visual Imitation Learning2021/6/1
- How Are Learned Perception-Based Controllers Impacted by the Limits of Robust Control?2021/4/1
- Model-Based Inverse Reinforcement Learning from Visual Demonstrations2020/10/1
- Fighting Copycat Agents in Behavioral Cloning from Observation Histories2020/10/1
- Long-Horizon Visual Planning with Goal-Conditioned Hierarchical Predictors2020/6/1
- DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor with Application to In-Hand Manipulation2020/5/1
- Morphology-Agnostic Visual Robotic Control2019/12/1
- Emergence of Exploratory Look-Around Behaviors through Active Observation Completion2019/6/1
- REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning2019/5/1
- Manipulation by Feel: Touch-Based Control with Deep Predictive Models2019/3/1
- More Than a Feeling: Learning to Grasp and Regrasp using Vision and Touch2018/5/1
- Look-ahead before you leap: end-to-end active recognition by forecasting the effect of motion2016/5/1