Yann LeCun
New York University
収録論文 26本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- AD-E2E-JEPA: エンドツーエンド自動運転のための結合埋め込み予測アーキテクチャ自動運転2026/9/28
自動運転向けのJEPA世界モデルを評価し、計画パッチを16倍削減するSIGReg正則化プロジェクタを導入して100倍の推論高速化を実現した。
- パッチポリシー：高密度視覚表現による効率的な身体制御VLA2026/7/1
Vision Transformerの事前学習済みパッチ特徴を直接利用する軽量なロボットポリシーを提案し、グローバル表現や大規模VLAを凌ぐ性能を達成した。
- AdaJEPA: 適応的潜在世界モデル世界モデル/計画2026/6/30
テスト時に世界モデルを適応させることで、分布シフト下での計画失敗を防ぐ手法を提案。MPCの閉ループ内で自己教師あり適応を行い、少数の勾配ステップで性能を大幅に改善する。
- SkyJEPA: クアッドローターのゼロショットsim-to-real制御のための長期的世界モデル学習制御2026/6/1
クアッドローターの高周波制御向けに、潜在空間でダイナミクスをモデル化するJEPA方式の世界モデルを提案し、物理に基づくプローバーとサンプリングベースの最適制御を組み合わせて、実機でのゼロショットsim-to-real転送を実現した。
- オブジェクト中心の世界モデルと拡散ポリシーの統合：多段階ロボットタスクのための階層的フレームワークマニピュレーション2026/6/1
多段階のロボット操作タスクを解決するため、高レベル世界モデルで実行時に実現可能なサブゴールを計画し、低レベル拡散ポリシーで実行する階層的フレームワークWorldDPを提案した。
- LeJEPAはいつ世界モデルを学習するのか？世界モデル2026/5/25
LeJEPAが非線形観測から世界の潜在変数を線形に復元できる条件を理論的に証明し、ガウス分布が唯一の保証を持つことを示した論文。
- stable-worldmodel: 再現可能なワールドモデル研究と評価のためのプラットフォームワールドモデル2026/5/1
ワールドモデル研究の断片化を解消するため、高速データ層、標準ベースライン実装、多様な評価環境を備えたオープンソースプラットフォームを提案した。
- 潜在世界モデルを用いた階層的計画計画/世界モデル2026/4/3
視覚世界モデルを複数の時間スケールで学習し、長期モデルの予測を短期モデルのサブゴールとして利用する階層的MPC手法を提案。実機操作やシミュレーションで長期的タスクの成功率を向上させた。
- LeWorldModel: ピクセルからの安定したエンドツーエンド共同埋め込み予測アーキテクチャ世界モデル2026/3/13
ピクセルから直接、2つの損失項のみで安定して学習できる初のJEPA世界モデルを提案し、制御タスクで高速かつ競争力のある性能を示した。
- 潜在計画のための時間的直線化世界モデル/表現学習2026/3/12
世界モデルを用いた潜在計画のための表現学習を改善する手法を提案。人間の視覚処理における知覚的直線化仮説に着想を得て、曲率正則化により潜在軌道を局所的に直線化し、計画の安定性と成功率を向上させる。
- 世界モデルのための並列確率的勾配ベースプランニングプランニング2026/2/1
学習した世界モデルの微分可能性を活かし、状態を最適化変数として扱う並列化可能な確率的プランナーGRASPを提案。視覚入力からの長期制御タスクで既存手法を上回る。
- JEPA世界モデルによる価値誘導型行動計画行動計画2026/1/1
JEPA世界モデルの表現空間を整形し、目標条件付き価値関数を状態埋め込み間の距離で近似することで、行動計画の性能を向上させる手法を提案した。
- 生成された人間動画から物理的に妥当なロボット軌道へヒューマノイド2025/12/1
生成動画から人間の動きを4D表現に変換し、強化学習方策GenMimicでヒューマノイドの物理的に安定した動作として再現する手法を提案。
- 勾配ベース計画のための世界モデルにおける訓練・テストギャップの解消モデルベース強化学習2025/12/1
世界モデルの訓練時とテスト時の目的のずれを埋めるため、訓練時のデータ合成手法を提案し、勾配ベース計画の性能を向上させた。物体操作やナビゲーションタスクで、従来のCEMと同等以上の性能を10%の時間で達成した。
- 人間の動画から巧みな手と物体の相互作用を学習する世界モデルマニピュレーション2025/12/1
一人称視点の人間動画から指のキーポイントを抽出し、巧みな手の動作を予測する世界モデルDexWMを提案。補助的な手の一貫性損失により、Franka PandaとAllegroグリッパーでのゼロショット転移でDiffusion Policyを50%以上上回る。
- JEPA世界モデルによる物理プランニングの成功要因の解明世界モデル2025/12/1
JEPA型世界モデルを用いたプランニングにおいて、モデル構造・学習目的・プランニングアルゴリズムが成功に与える影響を体系的に調査し、ナビゲーションとマニピュレーションで既存手法を上回るモデルを提案した。
- V-JEPA 2: 自己教師あり動画モデルによる理解・予測・計画VLA2025/6/1
大規模動画データで自己教師あり事前学習したV-JEPA 2を提案し、ロボット軌道で微調整した世界モデルにより、未知環境でのゼロショット物体操作を実現した。
- 全身姿勢に条件付けられた一人称視点動画予測動画予測2025/6/1
過去の動画と3D身体姿勢の動作から、一人称視点の未来動画を自己回帰拡散トランスフォーマーで予測するモデルPEVAを提案し、大規模データセットNymeriaで学習・評価した。
- OSVI-WM: ワールドモデル誘導軌道生成による未見タスクのワンショット視覚模倣模倣学習2025/5/1
世界モデルを用いて専門家動画から潜在軌道を予測し、物理ウェイポイントに変換することで、未見タスクでもワンショット視覚模倣を可能にするフレームワークを提案。
- ナビゲーション世界モデルナビゲーション/世界モデル2024/12/1
人間とロボットの視点動画で学習した10億パラメータの拡散トランスフォーマーにより、過去の観測と行動から将来の視覚像を予測し、ナビゲーション経路を計画するモデルを提案した。
- DINO-WM: 事前学習済み視覚特徴量上のワールドモデルによるゼロショット計画ワールドモデル2024/11/1
DINOv2のパッチ特徴量を予測するワールドモデルをオフライン軌道から学習し、行動列最適化により未見タスクをゼロショットで計画する手法を提案。
- RoboPEPP: 埋め込み予測事前学習による視覚ベースのロボット姿勢・関節角度推定姿勢推定2024/11/1
ロボットの物理モデル情報をマスキング自己教師あり学習でエンコーダに組み込み、遮蔽や切断に強い姿勢・関節角度推定を実現した手法。
- 階層型ワールドモデルによる視覚ベース全身ヒューマノイド制御全身制御2024/5/1
視覚観測から56自由度ヒューマノイドの全身制御を強化学習で実現するため、高レベルエージェントが視覚に基づきコマンドを生成し低レベルエージェントが実行する階層型ワールドモデルを提案した。
- EgoPet: 動物視点の自己運動とインタラクションデータセット歩行2024/4/1
ペットの視点から撮影した映像で自己運動とマルチエージェント相互作用を同時に含むデータセットを構築し、四足歩行ロボットの事前学習に有効であることを示した。
- Separating the World and Ego Models for Self-Driving2022/4/1
- Fast Incremental Learning for Off-Road Robot Navigation2016/6/1