Marco Pavone

Stanford University

収録論文 246本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• CtrlWAM: 意図と予見を整合させた制御可能なワールドアクションモデル
  VLA2026/10/1

  摂動させた行動をシミュレータで実行し、その視覚的結果と対応付けて学習することで、行動予測と映像生成の整合性を高めた制御可能なワールドアクションモデルを提案。

• OrbitTAMP: 宇宙機ランデブーにおけるタスク・モーションプランニングのための言語モデルの接地
  タスク・モーションプランニング2026/10/1

  自然言語指令をLLMで部分的なミッション仕様に変換し、再利用可能な行動グラフと軌道最適化で動的に実行可能な宇宙機ランデブー計画を生成する階層的TAMPフレームワークを提案。

• DeepJEPA：内部計算を適応的に配分する世界モデルプランナー
  世界モデル2026/9/30

  各遷移の計算深さをテスト時スケーリング軸として扱い、意思決定に重要な遷移だけを深く推論する重み共有型の世界モデルを提案し、固定深さのプランナーと同等以上の性能を少ない計算量で実現した。

• LIBERO-MAX：世界が変化したときロボット政策は適応するか？
  VLA2026/9/29

  タスク実行中に環境変化が起きた際のロボット政策の頑健性を評価する8,000ペアのベンチマークLIBERO-MAXを提案し、14のVLA政策が11.0〜25.7ポイントの成功率低下を示すことを明らかにした。

• 言語誘導探索のための構造化世界状態推論
  ロボット探索2026/9/20

  地理空間事前情報と知覚を統合した永続グラフ上で並列推論を行い、マルチモーダル検証で目標を特定するロボット探索フレームワークWORLDSを提案。CityNavで51.8%のナビゲーション成功率を達成し、既存手法を15.7ポイント上回った。

• オープンボキャブラリなシーン地図構築のためのシーン言語モデル
  シーン理解2026/9/18

  シーン全体を構造化テキストの物体リストとして保持し、画像入力ごとに追加・編集・削除で地図を更新するSceneLMを提案。専用モジュール構成の従来手法と同等性能を6〜12倍コンパクトな表現で実現し、四足歩行ロボット上でのオンライン動作も示した。

• OPTED: レンダリング不要な教師によるEnd-to-End自動運転のオンポリシー微調整
  自動運転/End-to-End2026/9/17

  強化学習で訓練した特権教師がベクトル入力から生徒モデルを閉ループで指導することで、シミュレータ操作を大幅に削減しつつEnd-to-End自動運転ポリシーを微調整する手法を提案。

• ElastiQP: 制約付きロボット制御のための常に実行可能なQPソルバ
  制御/最適化2026/9/16

  不等式制約をl1ペナルティで緩和し、実行不可能な問題でも競合する制約のみを違反して解を返す高速QPソルバを提案。

• ペアシステムを用いた障害発見のためのカバレッジ考慮型能動評価
  能動学習/障害発見2026/8/13

  限られたテスト予算で実世界の障害を効率的に発見するため、プロキシシステムの情報を活用しつつ、実システムの評価結果と組み合わせて障害が起きそうなシナリオを適応的に選択する手法を提案した。

• ロボット自律性の原理
  自律システム2026/8/1

  ロボット自律性の基礎から実践までを統一的に解説する教科書であり、古典的ロボティクスと現代の物理AIを橋渡しし、Jupyterノートブックによる実践演習を提供する。

• 近接性と安全性のバランスを取る：歩行者群集内での人間追従のための制約分解
  群制御2026/8/1

  混雑環境での人間追従タスクを、スパースなタスク報酬と独立したコスト制約に分解し、予測不確実性をコストに組み込むことで、近接性と安全性のトレードオフを明示的に調整可能にする強化学習手法を提案した。

• WildCity: 実世界の都市規模テストベッド - レンダリング、シミュレーション、空間知能のための
  空間知能/都市規模再構築2026/7/7

  自律走行車両が収集した都市規模のマルチモーダルデータセットを構築し、都市全体の3D再構築とクローズドループシミュレーションのベースラインを確立した。

• LLMを検証器として使う：汎用検証フレームワーク
  LLM検証2026/7/1

  LLMの検証能力を新たなスケーリング軸として捉え、追加学習なしでエージェントタスクにきめ細かいフィードバックを与える汎用検証フレームワークを提案した。スコアの粒度拡大や繰り返し評価、基準分解により検証精度を向上させ、複数のベンチマークで最高性能を達成した。

• 視覚言語行動モデルは言葉通りに意味しているか？身体化推論における忠実性の役割について
  VLA2026/7/1

  視覚言語行動モデルの推論が実際の意思決定を反映しているか（忠実性）を検証し、忠実性を高めるための学習手法を提案した論文。

• DIRECT: 身体化プランナーにおけるテスト時計算の割り当てはいつ、どこで行うべきか？
  VLA/プランニング2026/6/10

  VLMを高レベルプランナーとして使う際、テスト時計算を増やすと性能が上がるが、コストも増える。シーン文脈に基づいて計算をルーティングするDIRECTを提案し、成功率とコストのトレードオフを改善した。

• 人型ロボットのための制約付き全身追従制御
  全身制御2026/6/1

  強化学習で訓練された人型ロボットの全身追従ポリシーに対し、運用時空間制御と制御バリア関数を統合し、衝突回避や関節限界、重心安定性などの任意の制約をリアルタイムで満たす制御フレームワークを提案した。

• 観測・行動の正準化による姿勢非依存のロボット機能的把持
  マニピュレーション2026/6/1

  マグカップの取っ手を掴む機能的把持タスクにおいて、観測と行動を物体中心座標系に正準化する強化学習フレームワークAnyMugを提案し、シミュレーションのみで訓練した単一ポリシーを実機にゼロショット転移して高い成功率を達成した。

• Cosmos 3: 物理AIのための全モーダル世界モデル
  VLA2026/6/1

  言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。

• X4Val: 分散低減型ポリシー評価のためのニューラルサロゲート学習
  評価手法2026/6/1

  実世界データが乏しい中で、シミュレーションや過去のログなどの多様な補助データを活用し、実世界の性能指標を高信頼に推定するための分散低減フレームワークX4Valを提案した。

• 大規模言語モデルによる適応的軌道最適化のための意味的制約合成
  軌道最適化2026/6/1

  大規模言語モデルを用いて、自然言語で記述されたミッション要件を実行可能な軌道最適化コードと数式に変換するフレームワークを提案し、宇宙機ランデブーシナリオで有効性を実証した。

• StressDream: ビデオ世界モデルを操縦して堅牢なポリシー評価と改善を実現
  世界モデル/ポリシー評価2026/6/1

  拡散ベースのビデオ世界モデルにおいて、推論時に指定された高影響かつ妥当な未来（例：タスク失敗）へ想像を誘導する手法を提案し、ポリシーの堅牢な評価と改善を可能にした。

• 計画整合型トークン圧縮による長文脈自動運転
  自動運転2026/6/1

  自動運転のためのモノリシックな視覚行動モデルにおいて、長期の文脈を圧縮する際に計画情報を活用するフレームワークを提案し、成功率を向上させた。

• FARM: 関係空間記憶を用いた任意物体の発見
  物体検索/空間記憶/VLM2026/6/1

  ロボットが「ダーツボードの下の背の高いランプ」のような関係的な指示で物体を見つけられるよう、実時間で物体レベルの空間記憶を構築し、VLMでクエリを解析して検索するシステムを提案した。

• 物理基盤のマルチエージェントダイナミクスベンチマーク：ワールドモデルにおける
  ワールドモデル2026/6/1

  ワールドモデルの生成するマルチエージェント衝突シナリオの物理的妥当性を評価するフレームワークCrashTwinを提案し、既存モデルが視覚品質は高いが物理法則に反する挙動を示すことを明らかにした。

• 不確実性保証を備えた視覚ベースの安全な人間ロボット協調
  人間ロボット協調2026/4/1

  人間のポーズ推定と動作予測にコンフォーマル予測を適用し、確率的に安全な人間ロボット協調を実現する枠組みを提案した。

• frax: JAXによる高速ロボット運動学・動力学ライブラリ
  シミュレーション2026/4/1

  JAXベースのロボット運動学・動力学ライブラリfraxを提案。CPU/GPU/TPUで高速動作し、自動微分もサポートする。

• Ψ₀: 汎用人型ロコマニピュレーションに向けたオープン基盤モデル
  VLA2026/3/1

  高品質な一人称視点の人間動画でVLMを事前学習し、人型ロボットの実機データで追加学習する段階的パラダイムにより、少ないデータで人型ロコマニピュレーションを実現するオープン基盤モデルを提案した。

• 視覚-言語-行動モデルにおける特徴の観測と制御
  VLA/解釈可能性2026/3/1

  VLAモデルの内部表現を線形分類器で観測し、最適制御に基づく軽量な介入で出力を望む方向に操る手法を提案。微調整なしでロボットの行動をリアルタイムに調整できることを示した。

• 連続体ロボットの精密制御のためのアクチュエータ対応スペクトル部分多様体の学習
  連続体ロボット/モデル低次元化/制御2026/3/1

  制御入力を状態表現に組み込んだ制御拡張スペクトル部分多様体(caSSM)を提案し、腱駆動型連続体ロボットの高次元非線形ダイナミクスを低次元モデル化。実機で開ループ予測誤差を40%、MPCでの追従誤差を52%削減した。

• 自動運転における構造化Chain-of-Thoughtの高速化
  VLA2026/2/1

  自動運転のVLAモデル向けに、Chain-of-Thought推論を依存グラフに分解し並列デコードすることで、精度を保ちつつ3〜4倍高速化する手法を提案。

• 検証のスケーリングは視覚-言語-行動の整合性において方策学習のスケーリングより効果的になり得る
  VLA2026/2/1

  視覚-言語-行動モデルの指示と行動のずれを減らすため、テスト時に言い換え指示と行動候補を増やして検証する手法CoVerを提案し、方策事前学習のスケーリングより高い性能を示した。

• グラフニューラルモデル予測制御による高次元システムの制御
  モデル予測制御2026/2/1

  グラフニューラルネットワークとモデル予測制御を組み合わせ、ソフトロボットなどの高次元システムをリアルタイム制御するフレームワークを提案。GPU並列化により1000ノードまで100Hzで動作し、物理実験でサブセンチメートル精度を達成。

• 自己教師ありブートストラップによる行動予測的な身体性推論
  VLA2026/2/1

  VLAモデルの身体性Chain-of-Thought推論を、外部報酬や人手注釈なしに自己教師ありで洗練し、操作・歩行ナビ・自動運転で性能を向上させる手法を提案。

• 自然言語で宇宙機の安全な軌道を生成するSAGES
  宇宙機誘導制御2025/12/1

  自然言語コマンドを宇宙機の軌道生成に変換し、非凸制約を守りつつ意図を反映するフレームワークSAGESを提案。

• 反事実的VLA：適応的推論を備えた自己反省型視覚-言語-行動モデル
  VLA2025/12/1

  自動運転VLAモデルが計画した行動を反事実的に推論して修正する自己反省フレームワークを提案し、軌道精度と安全性を向上させた。

• 潜在連鎖推論によるエンドツーエンド運転の世界モデリング
  自動運転VLA2025/12/1

  運転行動の推論を自然言語ではなく、行動と整合した潜在空間で行うLCDriveを提案し、推論速度・軌道品質・強化学習の効果を向上させた。

• RoaD: 閉ループ教師あり微調整のためのロールアウト活用による自動運転ポリシー改善
  自動運転2025/12/1

  自動運転ポリシーの閉ループ展開時の誤差蓄積を、自身のロールアウトに専門家ガイダンスを加えて追加学習データとすることで軽減し、大規模シミュレータで衝突を54%削減した手法。

• 橋上の基盤モデル：視覚言語モデルによる海事自律航行の意味的ハザード検出と安全機動
  VLA2025/12/1

  視覚言語モデル(VLM)を用いて、港湾シーンでの意味的な危険(ダイバーフラッグや火災など)を検出し、人間が介入可能な短時間のフォールバック機動を選択する「Semantic Lookout」を提案した研究。

• 低速・高速ダイナミクス系に対するマルチタイムスケールモデル予測制御
  制御/MPC2025/11/1

  高速・低速のダイナミクスが混在するシステムに対し、予測ホライズンに沿ってモデルを簡略化・積分刻みを拡大するマルチタイムスケールMPCを提案し、ロボット制御問題で最大10倍の高速化を実現した。

• Alpamayo-R1: 長尾シナリオにおける汎化可能な自動運転のための推論と行動予測の橋渡し
  自動運転/VLA2025/11/1

  視覚言語行動モデルに因果連鎖推論を組み込み、拡散ベースの軌道デコーダと強化学習を組み合わせることで、長尾の安全臨界シナリオでの自動運転計画精度と推論品質を向上させた研究。

• デモンストレーションから安全な実運用へ：拡散ポリシーのための経路整合型安全フィルタリング
  安全フィルタリング2025/11/1

  拡散ポリシーの生成軌道に沿って経路整合型のブレーキングを行い、集合ベース到達可能性解析で安全性を保証しつつタスク成功率を維持する手法を提案。

• Transformerによる宇宙ランデブー設計の機敏なトレードスペース探索
  宇宙ランデブー/軌道設計2025/10/1

  Transformerモデルを用いて、宇宙機ランデブーミッション設計における制御コストと飛行時間のトレードオフを高速に探索し、多目的最適化を効率化するフレームワークを提案。

• マルチモーダル領域適応によるロボットジェイルブレイク防止
  VLA2025/9/1

  テキストと画像の埋め込みを注意機構で融合し、汎用ジェイルブレイクデータをロボット分野のデータに適応させる軽量検出器J-DAPTを提案し、自動運転・海洋ロボティクス・四足歩行ナビゲーションでほぼ100%の検出精度を達成した。

• ネガティブデータの活用：衝突報告から反事実推論へ、安全な自動運転のための判断支援
  自動運転2025/9/1

  衝突報告を自車視点の言語に正規化し、ログと衝突を統一シーン行動表現に変換して検索可能にすることで、提案行動の妥当性を過去事例から判断する自動運転システムを構築した。

• 軌道予測器を前方可到達集合推定器として用いた運動計画の安全性評価
  安全性検証2025/7/1

  多モーダル軌道予測器から凸計画で前方可到達集合を抽出し、conformal predictionとベイズフィルタで較正して、運動計画の安全性を検証するモニタを提案した。

• 自動運転のための疑似シミュレーション評価
  自動運転評価2025/6/1

  3Dガウススプラッティングで生成した合成観測を実データに付加し、閉ループに近い相関で自動運転を評価する疑似シミュレーション手法を提案。

• トライプレーンによる効率的なマルチカメラトークン化とエンドツーエンド自動運転
  自動運転2025/6/1

  自動運転向けに、複数カメラの画像をトライプレーン表現で効率的にトークン化し、トークン数を最大72%削減して推論を高速化する手法を提案。

• SkillBlender：スキルブレンドによる汎用人型ロコマニピュレーション
  ロコマニピュレーション2025/6/1

  目標条件付きの汎用プリミティブスキルを事前学習し、それらを動的にブレンドすることで、タスク固有の報酬設計を最小限に抑えつつ多様な人型ロコマニピュレーションを実現する階層型強化学習フレームワークを提案。

• 自動運転における基盤モデル：シナリオ生成と分析に関するサーベイ
  自動運転2025/6/1

  自動運転のシナリオ生成・分析に基盤モデル（LLM、VLM、拡散モデル、ワールドモデルなど）を適用した研究を体系的に整理し、データセット・評価指標・課題をまとめたサーベイ。

• 自動運転オンデマンド交通システムの制御における再現性
  群制御2025/6/1

  自動運転オンデマンド交通（AMoD）研究の再現性を体系的に調査し、モデル化・制御・シミュレーション・評価の各段階での課題を分析して、再現性チェックリストとガイドラインを提案した。

• Sim2Val: テストプラットフォーム間の相関を活用した分散低減メトリクス推定
  sim2real2025/6/1

  シミュレーションと実世界のペアデータを制御変数として用い、実世界評価の分散を抑えて少ないサンプルで高信頼な性能推定を可能にする枠組みを提案。

• RoboMonkey: VLAモデルのためのテスト時サンプリングと検証のスケーリング
  VLA2025/6/1

  VLAモデルのテスト時スケーリングを調査し、サンプリングと検証によりロバスト性を高めるフレームワークRoboMonkeyを提案。合成データで訓練したVLM検証器で行動を選択し、分布外タスクで25%の性能向上を実現。

• CUPID: 影響関数でロボットが好むデータを選別
  模倣学習2025/6/1

  模倣学習において、各デモンストレーションが方策の性能に与える影響を影響関数で推定し、有害なデータを除去・有益なデータを選択するデータキュレーション手法を提案。

• 微小重力下でのAstrobeeによる変形可能な貨物輸送
  マニピュレーション2025/5/1

  NASAのAstrobeeロボットを用いた貨物操作・輸送タスクのためのPythonシミュレーション環境と制御スタックを開発し、サンプリングベースMPCで変形可能な貨物の制御に成功した。

• スキャン・実体化・シミュレーション：物理に基づくロボット計画のための汎用フレームワーク
  sim2real2025/5/1

  3Dガウススプラッティングによるシーン再構成、視覚基盤モデルによるセグメンテーション、視覚言語モデルによる材質推定、物理シミュレーションを統合し、ビリヤード風操作とクアッドロータ着陸で実世界汎化を実証した。

• 展開可能で汎化可能な自律性に向けた動作予測の動向：再訪と展望
  動作予測2025/5/1

  動作予測モデルの汎化性と実展開性に焦点を当て、ロボティクス・自動運転・人間動作への応用を中心に、手法・表現・評価プロトコルの分類と課題を整理したサーベイ。

• 国際宇宙ステーションにおける軌道最適化のための深層学習ウォームスタート
  軌道最適化2025/5/1

  ISS上の自由飛行ロボットAstrobeeで、ニューラルネットによるウォームスタートを用いて軌道最適化を高速化し、収束に必要な反復回数を最大60%削減した初の宇宙実証。

• マルチモーダル推論によるリアルタイムな分布外故障の防止
  安全・フォールバック2025/5/1

  マルチモーダル基盤モデルと動力学を考慮した計画を組み合わせ、分布外の故障を防ぐ安全なフォールバック戦略をリアルタイムに生成するフレームワークFORTRESSを提案。

• 自動運転のための生成AI：フロンティアと機会
  自動運転2025/5/1

  生成AI（VAE・GAN・拡散モデル・LLM）を自動運転スタック全体にどう応用するかを体系的に整理したサーベイ。データ生成からEnd-to-End運転、デジタルツイン、評価・安全・規制まで課題と研究方向をまとめる。

• RealDrive: 拡散モデルによる検索拡張型運転計画
  自動運転計画2025/5/1

  訓練データから類似の専門家デモを検索し、拡散モデルの初期値として使うことで、長尾の危険シナリオでも安全で多様な軌道を生成する運転計画手法を提案。

• エンドツーエンド自動運転におけるデータスケーリング則
  自動運転2025/4/1

  16〜8192時間の走行データでエンドツーエンド自動運転モデルを訓練し、性能向上に必要なデータ量の関係を開ループ指標と閉ループシミュレーションで分析した。

• 高次元ダイナミクスを制御する：スペクトル部分多様体への最適射影の学習
  モデル縮約/制御2025/4/1

  高次元非線形システムを低次元モデルに縮約する際、スペクトル部分多様体への最適な射影をデータから学習し、ロボット制御の精度を最大5倍改善した。

• 操作空間制御バリア関数による安全でタスク整合的なマニピュレーション
  マニピュレーション2025/3/1

  操作空間制御バリア関数（OSCBF）を提案し、多数の安全制約をリアルタイムで処理しつつタスク性能を維持するマニピュレーション制御を実現した。

• 断熱スペクトル部分多様体によるデータ駆動型ソフトロボット制御
  ソフトロボット制御2025/3/1

  ソフトロボットの非線形ダイナミクスを断熱スペクトル部分多様体（aSSM）で低次元化し、データのみからモデル予測制御を構築して高精度な軌道追従を実現した。

• 運転シナリオにおけるインタラクティブ性の指標としてのサプライズポテンシャル
  自動運転2025/2/1

  自動運転車の評価に重要なインタラクティブな運転シナリオを、他車への「驚き」の度合いで定量化する新指標を提案し、人間の選好と高い相関を示した。

• 軌道予測器のオンライン統合
  軌道予測2025/2/1

  複数の軌道予測モデルを「専門家」として扱い、オンラインで確率ベクトルを更新して最適に混合する軽量な手法を提案し、異なる都市やデータセットでも単一モデルと同等以上の性能を示した。

• LoRA3D: 3D幾何学基盤モデルの低ランク自己校正
  3D再構成2024/12/1

  スパースなRGB画像から3D幾何学基盤モデルを自己校正し、低ランク適応でシーンに特化させる手法を提案。単一GPUで5分以内に完了し、3D再構成と多視点姿勢推定で最大88%の性能向上を達成。

• 外挿的な都市ビュー合成ベンチマーク
  sim2real2024/12/1

  自動運転向けの新規視点合成(NVS)において、訓練視点から大きく外れた視点での性能を評価する初のベンチマークEUVSを構築し、既存手法が訓練視点に過適合しやすいことを示した。

• 最適化問題に対する複数の初期解の学習
  最適化2024/11/1

  問題パラメータから多様な初期解を複数予測し、単一または複数の最適化器で利用することで、ロボット制御などの最適化問題の収束を改善する手法を提案。

• Transformerによる堅牢な宇宙機軌道最適化
  軌道最適化2024/10/1

  Transformerベースの生成モデルARTを拡張し、不確実性下での確率制約付き最適制御問題に対応させ、低軌道ランデブーで従来法より最大30%のコスト改善と50%の実行不可能ケース削減を達成した。

• Transformerベースのモデル予測制御：系列モデリングによる軌道最適化
  MPC2024/10/1

  Transformerで非凸軌道最適化の初期解を予測し、MPCの収束と計算時間を大幅に改善する枠組みを提案した。

• Transformerによるマルチモーダル学習を用いた汎用宇宙機軌道生成
  軌道生成2024/10/1

  Transformerでシーン情報と軌道制約をマルチモーダルに学習し、多様な問題設定に対応する宇宙機軌道の初期解を生成して非凸最適化の収束を高速化する枠組みを提案。

• Gen-Drive: 報酬モデリングと強化学習ファインチューニングによる拡散生成運転ポリシーの強化
  自動運転計画2024/10/1

  拡散モデルで多様な将来シーンを生成し、VLM支援で学習した報酬モデルで評価する「生成→評価」型の自動運転計画フレームワークを提案し、強化学習で微調整することでnuPlan上での計画性能を向上させた。

• 生成ポリシーの失敗モードを解き明かす：一貫性と進捗のランタイムモニタリング
  VLA2024/10/1

  模倣学習ポリシーの失敗を、行動の時間的一貫性の統計的監視とVLMによるタスク進捗監視を組み合わせて検出するランタイム監視フレームワークSentinelを提案。

• LoRD: 分布シフトに適応する微分可能な運転ポリシー
  自動運転2024/10/1

  自動運転の微分可能なスタック（予測・計画・制御）を分布シフトに適応させるため、低ランク残差デコーダ（LoRD）とマルチタスク微調整を提案し、破滅的忘却を最大23.33%改善、閉ループOOD運転スコアを9.93%向上させた。

• 自動運転車における知覚故障のシステムレベル安全監視と回復
  自動運転/安全監視2024/9/1

  知覚故障が計画に与える影響を評価し、安全でない計画を検出して修正案を提示するQネットワークSPARQを提案。NuPlan-Vegasデータセットで90%の精度と再現率、42Hzのリアルタイム性能を達成。

• 自動運転車テストのための現実的な極端挙動生成
  自動運転テスト2024/9/1

  実世界の衝突なしデータから、学習した挙動モデルのパラメータ空間で現実的な摂動を加えて多様な衝突シナリオを生成し、クラスタリングで代表的なテストスイートを構築するフレームワークを提案。

• RoboMorph: インコンテキスト・メタ学習によるロボット動力学モデリング
  ロボット動力学/メタ学習2024/9/1

  Transformerを用いて、物理パラメータの事前知識なしにFrankaロボットアームのトルクから関節位置・エンドエフェクタ姿勢を予測するメタ動力学モデルを学習した研究。

• 実世界の事故状況を代表する交通シナリオにおけるADASの性能評価
  ADAS評価2024/9/1

  実車13台の衝突防止システムを実世界の事故を代表するシナリオでテストし、衝突頻度と衝撃エネルギーへの影響を評価する新スコアを提案した。

• プロンプト可能な閉ループ交通シミュレーション
  交通シミュレーション2024/9/1

  数値・カテゴリ・テキストのプロンプトで各エージェントの挙動を指示し、閉ループで交通シナリオを生成するマルチモーダル交通シミュレーション手法ProSimを提案。

• Text2Interaction: 安全で好ましい人間-ロボットインタラクションの確立
  人間-ロボットインタラクション2024/8/1

  大規模言語モデルを活用し、ユーザーの好みをゼロショットでロボットの行動計画に反映させるフレームワークを提案。タスク完了とユーザー満足度の同時確率を最大化することで、両立を実現した。

• Space-LLaVA：地球外環境に適応した視覚言語モデル
  VLA2024/8/1

  火星などの地球外データベースに言語注釈を付与してLLaVAを微調整し、未知のタスクでゼロショット性能を向上させた視覚言語モデル。

• 世界をオブジェクト知識にトークン化し、自動運転のロングテール事象に対処する
  自動運転/VLA2024/7/1

  自動運転のロングテール事象に対処するため、シーンをオブジェクトレベルの知識にトークン化してLLMの推論能力を活用するマルチモーダルLLM「TOKEN」を提案し、軌道誤差と衝突率を大幅に削減した。

• マルチンゲールによる診断的ランタイムモニタリング
  分布シフト診断2024/7/1

  複数の確率的マルチンゲールを同時に用いて、ストリーミングデータ上の分布シフトの原因をリアルタイムに診断する枠組みを提案し、シミュレーションと実機で有効性を示した。

• 大規模言語モデルによるリアルタイム異常検知と反応的計画
  安全制御/LLM2024/7/1

  LLMの埋め込み空間で高速に異常を検知し、生成LLMによる遅い判断をモデル予測制御に組み込むことで、ドローンや自動運転車の安全な反応計画を実現した。

• ReachBot：伸縮ブームで移動を操作に変えるロボット
  マニピュレーション2024/7/1

  月や火星の溶岩チューブ探査に向け、伸縮ブームとマイクロスパイン付きグリッパで不規則な岩面を掴みながら移動するロボットReachBotを開発し、モハーベ砂漠の溶岩チューブで実証した。

• BEV特徴量への直接アテンションによるオンラインマッピングと行動予測の高速化
  自動運転/予測2024/7/1

  自動運転向けに、オンラインマップ推定の内部BEV特徴量を直接活用して軌道予測と統合する手法を提案し、推論速度を最大73%向上、予測精度を最大29%改善した。

• ReachBotによる火星溶岩洞探査：科学的調査と運用コンセプト
  宇宙ロボティクス2024/6/1

  伸縮自在な脚で移動するロボットReachBotを火星の溶岩洞に投入する想定ミッションについて、科学目標・ペイロード選定・運用計画・リスク対策を検討した論文。

• DistillNeRF: 単眼画像からニューラル場と基盤モデル特徴を蒸留して3Dシーンを認識
  3D認識2024/6/1

  単一フレームの多視点カメラ画像から、NeRFの蒸留とCLIP/DINOv2などの2D基盤モデル特徴の蒸留を組み合わせて、自己教師ありで3Dシーン表現を学習する手法を提案。

• NAVSIM: データ駆動型非反応的自動運転シミュレーションとベンチマーク
  自動運転ベンチマーク2024/6/1

  大規模データセットと非反応的シミュレータを組み合わせ、実世界に近い大規模ベンチマークを可能にする評価手法NAVSIMを提案。CVPR 2024コンペで143チームが参加し、新たな知見を得た。

• ZAPP! 予測と計画のゾノトープ合意による連続時間衝突回避と離散時間ダイナミクス
  予測計画統合2024/6/1

  予測と計画の表現の不一致を解消するため、粗い時間離散化とゾノトープ不確かさ表現を統合し、勾配ベース最適化で衝突回避を実現する手法を提案。

• 重要なものだけを記憶する：多重走行からの創発的シーン分解
  3Dマッピング2024/5/1

  同じ領域を複数回走行したRGB動画から、自己教師ありで環境と一時的物体を分離し、3Dガウシアンマップを構築する手法を提案。

• RuleFuser: 模倣学習プランナーへのルール注入による分布シフト下でのロバスト性向上
  自動運転プランニング2024/5/1

  模倣学習ベースの自動運転プランナーに古典的なルールベースプランナーを証拠ベイズ的に統合し、分布外シナリオでの安全性を向上させる手法を提案。

• 火星アナログとしてのモハーベ砂漠溶岩洞におけるReachBotフィールドテスト
  フィールドロボティクス2024/5/1

  伸縮ブームとグリッパを脚として不整地を移動する惑星探査ロボットReachBotの部分試作機を製作し、モハーベ砂漠の溶岩洞で実地試験を行って把持性能を評価した。

• GPU加速シミュレーションによるロボットタスク横断的な集団ベース強化学習のベンチマーク
  強化学習2024/4/1

  GPU加速物理シミュレータ上で集団ベース強化学習(PBRL)をPPO/SAC/DDPGと比較し、ハイパーパラメータを動的調整することで累積報酬が向上することを示し、Franka Nut Pickタスクで実機展開も行った。

• 周期軌道追従を完璧に：周期オブザーバ付きモデル予測制御（Π-MPC）
  制御/MPC2024/4/1

  周期外乱を推定・補償するオブザーバを組み込むことで、モデル誤差があっても周期軌道を漸近的に完全追従できるMPC手法を提案し、ソフトロボットと自動運転カーの実験で有効性を示した。

• 物体認識なしで屋内環境の高レベル意味領域をマッピング
  意味マッピング2024/3/1

  視覚言語モデルと自律ナビゲーションを用いて、物体認識に頼らずに屋内環境の意味領域マップを生成する手法を提案し、フォトリアルシミュレータで既存手法を上回る性能を示した。

• 軌道予測におけるオンラインマップの不確かさの生成と活用
  自動運転2024/3/1

  オンラインマップ推定に不確かさ推定を追加し、軌道予測と統合することで、学習収束を最大50%高速化し、予測性能を最大15%向上させた。

• 再構成可能なパラレルロボットによるタスク駆動型マニピュレーション
  マニピュレーション2024/3/1

  伸縮ブームを脚として環境に固定しパラレルロボット化するReachBotで、姿勢計画と張力計画を組み合わせて不確実性に頑健な操作を実現した。

• 大規模言語モデルによる運転ポリシーの適応でどこでも走行
  自動運転2024/2/1

  大規模言語モデルを使って各地域の交通ルールを解釈し、自動運転車の運転行動を新しい環境に適応させる手法LLaDAを提案した。

• Contingency Planning Using Bi-level Markov Decision Processes for Space Missions
  2024/2/1
• Modeling Considerations for Developing Deep Space Autonomous Spacecraft and Simulators
  2024/1/1
• Learning for CasADi: Data-driven Models in Numerical Optimization
  2023/12/1
• A Language Agent for Autonomous Driving
  2023/11/1
• Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent
  2023/11/1
• Real-time Control of Electric Autonomous Mobility-on-Demand Systems via Graph Reinforcement Learning
  2023/11/1
• Transformers for Trajectory Optimization with Application to Spacecraft Rendezvous
  2023/10/1
• Interactive Joint Planning for Autonomous Vehicles
  2023/10/1
• DTPP: Differentiable Joint Conditional Prediction and Cost Evaluation for Tree Policy Planning in Autonomous Driving
  2023/10/1
• Robust Nonlinear Reduced-Order Model Predictive Control
  2023/9/1
• Reinforcement Learning with Human Feedback for Realistic Traffic Simulation
  2023/9/1
• Closing the Loop on Runtime Monitors with Fallback-Safe MPC
  2023/9/1
• Refining Obstacle Perception Safety Zones via Maneuver-Based Decomposition
  2023/8/1
• Multi-Predictor Fusion: Combining Learning-based and Rule-based Trajectory Predictors
  2023/7/1
• Risk-Averse Trajectory Optimization via Sample Average Approximation
  2023/7/1
• trajdata: A Unified Interface to Multiple Human Trajectory Datasets
  2023/7/1
• Language-Guided Traffic Simulation via Scene-Level Diffusion
  2023/6/1
• Semantic Anomaly Detection with Large Language Models
  2023/5/1
• Bayesian Reparameterization of Reward-Conditioned Reinforcement Learning with Energy-based Models
  2023/5/1
• Task-Aware Risk Estimation of Perception Failures for Autonomous Vehicles
  2023/5/1
• Object Pose Estimation with Statistical Guarantees: Conformal Keypoint Detection and Geometric Uncertainty Propagation
  2023/3/1
• Text2Motion: From Natural Language Instructions to Feasible Plans
  2023/3/1
• Verification and Synthesis of Robust Control Barrier Functions: Multilevel Polynomial Optimization and Semidefinite Relaxation
  2023/3/1
• Learning Responsibility Allocations for Safe Human-Robot Interaction with Applications to Autonomous Driving
  2023/3/1
• Convex Hulls of Reachable Sets
  2023/3/1
• Learning Control-Oriented Dynamical Structure from Data
  2023/2/1
• Tree-structured Policy Planning with Learned Behavior Models
  2023/1/1
• Adaptive Robust Model Predictive Control via Uncertainty Cancellation
  2022/12/1
• Receding Horizon Planning with Rule Hierarchies for Autonomous Vehicles
  2022/12/1
• DiffStack: A Differentiable and Modular Control Stack for Autonomous Vehicles
  2022/12/1
• A System-Level View on Out-of-Distribution Data in Robotics
  2022/12/1
• Online Distribution Shift Detection via Recency Prediction
  2022/11/1
• Planning with Occluded Traffic Agents using Bi-Level Variational Occlusion Models
  2022/10/1
• Designing ReachBot: System Design Process with a Case Study of a Martian Lava Tube Mission
  2022/10/1
• Guided Conditional Diffusion for Controllable Traffic Simulation
  2022/10/1
• Learning Autonomous Vehicle Safety Concepts from Demonstrations
  2022/10/1
• Expanding the Deployment Envelope of Behavior Prediction via Adaptive Meta-Learning
  2022/9/1
• Motion Planning for a Climbing Robot with Stochastic Grasps
  2022/9/1
• Data-Driven Spectral Submanifold Reduction for Nonlinear Optimal Control of High-Dimensional Robots
  2022/9/1
• Using Spectral Submanifolds for Nonlinear Periodic Control
  2022/9/1
• BITS: Bi-level Imitation for Traffic Simulation
  2022/8/1
• Learning Deep SDF Maps Online for Robot Navigation and Exploration
  2022/7/1
• Task-Relevant Failure Detection for Trajectory Predictors in Autonomous Vehicles
  2022/7/1
• Interaction-Dynamics-Aware Perception Zones for Obstacle Detection Safety Evaluation
  2022/6/1
• ScePT: Scene-consistent, Policy-based Trajectory Predictions for Planning
  2022/6/1
• Robust-RRT: Probabilistically-Complete Motion Planning for Uncertain Nonlinear Systems
  2022/5/1
• Control-oriented meta-learning
  2022/4/1
• Safe Reinforcement Learning Using Black-Box Reachability Analysis
  2022/4/1
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms
  2022/3/1
• Motron: Multimodal Probabilistic Human Motion Forecasting
  2022/3/1
• Semi-Supervised Trajectory-Feedback Controller Synthesis for Signal Temporal Logic Specifications
  2022/2/1
• Data-Driven Chance Constrained Control using Kernel Distribution Embeddings
  2022/2/1
• A Simple and Efficient Sampling-based Algorithm for General Reachability Analysis
  2021/12/1
• Personalized Federated Learning of Driver Prediction Models for Autonomous Driving
  2021/12/1
• On the Problem of Reformulating Systems with Uncertain Dynamics as a Stochastic Differential Equation
  2021/11/1
• Coordinated Multi-Agent Pathfinding for Drones and Trucks over Road Networks
  2021/10/1
• Injecting Planning-Awareness into Prediction and Detection Evaluation
  2021/10/1
• MTP: Multi-Hypothesis Tracking and Prediction for Reduced Error Propagation
  2021/10/1
• Propagating State Uncertainty Through Trajectory Forecasting
  2021/10/1
• ReachBot: A Small Robot for Large Mobile Manipulation Tasks
  2021/10/1
• Lyapunov-stable neural-network control
  2021/9/1
• Sample-Efficient Safety Assurances using Conformal Prediction
  2021/9/1
• Vision-based Autonomous Disinfection of High Touch Surfaces in Indoor Environments
  2021/8/1
• Joint Optimization of Autonomous Electric Vehicle Fleet Operations and Charging Station Siting
  2021/7/1
• Rethinking Trajectory Forecasting Evaluation
  2021/7/1
• Towards Data-Driven Synthesis of Autonomous Vehicle Safety Concepts
  2021/7/1
• Convex Optimization for Trajectory Generation
  2021/6/1
• Adaptive Robust Model Predictive Control with Matched and Unmatched Uncertainty
  2021/4/1
• Heterogeneous-Agent Trajectory Forecasting Incorporating Class Uncertainty
  2021/4/1
• Graph Neural Network Reinforcement Learning for Autonomous Mobility-on-Demand Systems
  2021/4/1
• Particle MPC for Uncertain and Learning-Based Control
  2021/4/1
• Adaptive-Control-Oriented Meta-Learning for Nonlinear Systems
  2021/3/1
• Multi-Agent Algorithms for Collective Behavior: A structural and application-focused atlas
  2021/3/1
• Composable Geometric Motion Policies using Multi-Task Pullback Bundle Dynamical Systems
  2021/1/1
• Sampling Training Data for Continual Learning Between Robots and the Cloud
  2020/12/1
• On Infusing Reachability-Based Safety Assurance within Planning Frameworks for Human-Robot Vehicle Interactions
  2020/12/1
• Leveraging Neural Network Gradients within Trajectory Optimization for Proactive Human-Robot Interactions
  2020/12/1
• Near-Optimal Multi-Robot Motion Planning with Finite Sampling
  2020/11/1
• Soft Robot Optimal Control Via Reduced Order Finite Element Models
  2020/11/1
• Task-relevant Representation Learning for Networked Robotic Perception
  2020/11/1
• Fast Near-Optimal Heterogeneous Task Allocation via Flow Decomposition
  2020/11/1
• Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
  2020/10/1
• Analysis of Theoretical and Numerical Properties of Sequential Convex Programming for Continuous-Time Optimal Control
  2020/9/1
• MATS: An Interpretable Trajectory Forecasting Representation for Planning and Control
  2020/9/1
• Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction
  2020/9/1
• Sampling-based Reachability Analysis: A Random Set Theory Approach with Adversarial Sampling
  2020/8/1
• Multimodal Deep Generative Models for Trajectory Prediction: A Conditional Variational Autoencoder Approach
  2020/8/1
• Safe Active Dynamics Learning and Control: A Sequential Exploration-Exploitation Framework
  2020/8/1
• Infusing Reachability-Based Safety into Planning and Control for Multi-agent Interactions
  2020/8/1
• The Shapeshifter: a Morphing, Multi-Agent,Multi-Modal Robotic Platform for the Exploration of Titan (preprint version)
  2020/3/1
• Soft Tensegrity Systems for Planetary Landing and Exploration
  2020/3/1
• Shapeshifter: A Multi-Agent, Multi-Modal Robotic Platform for Exploration of Titan
  2020/2/1
• On Local Computation for Optimization in Multi-Agent Systems
  2020/2/1
• Trajectron++: Dynamically-Feasible Trajectory Forecasting With Heterogeneous Data
  2020/1/1
• Map-Predictive Motion Planning in Unknown Environments
  2019/10/1
• Efficient Large-Scale Multi-Drone Delivery Using Transit Networks
  2019/9/1
• Sample Complexity of Probabilistic Roadmaps via $\epsilon$-nets
  2019/9/1
• Revisiting the Asymptotic Optimality of RRT$^*$
  2019/9/1
• Learning Stabilizable Nonlinear Dynamics with Contraction-Based Regularization
  2019/7/1
• Bilevel Optimization for Planning through Contact: A Semidirect Method
  2019/6/1
• Trajectory Optimization on Manifolds: A Theoretically-Guaranteed Embedded Sequential Convex Programming Approach
  2019/5/1
• On the Interaction between Autonomous Mobility on Demand Systems and Power Distribution Networks -- An Optimal Power Flow Approach
  2019/5/1
• Scalable and Congestion-aware Routing for Autonomous Mobility-on-Demand via Frank-Wolfe Optimization
  2019/3/1
• GuSTO: Guaranteed Sequential Trajectory Optimization via Sequential Convex Programming
  2019/3/1
• Network Offloading Policies for Cloud Robotics: a Learning-based Approach
  2019/2/1
• A Differentiable Augmented Lagrangian Method for Bilevel Nonlinear Optimization
  2019/2/1
• On Infusing Reachability-Based Safety Assurance within Probabilistic Planning Frameworks for Human-Robot Vehicle Interactions
  2018/12/1
• The Trajectron: Probabilistic Multi-Agent Trajectory Modeling With Dynamic Spatiotemporal Graphs
  2018/10/1
• Learning Stabilizable Dynamical Systems via Control Contraction Metrics
  2018/8/1
• Robust Tracking with Model Mismatch for Fast and Safe Planning: an SOS Optimization Approach
  2018/8/1
• Meta-Learning Priors for Efficient Online Bayesian Regression
  2018/7/1
• Reach-Avoid Problems via Sum-of-Squares Optimization and Dynamic Programming
  2018/7/1
• Robot Motion Planning in Learned Latent Spaces
  2018/7/1
• BaRC: Backward Reachability Curriculum for Robotic Reinforcement Learning
  2018/6/1
• Safe Motion Planning in Unknown Environments: Optimality Benchmarks and Tractable Policies
  2018/4/1
• On the Interaction between Autonomous Mobility-on-Demand and Public Transportation Systems
  2018/4/1
• Review of Multi-Agent Algorithms for Collective Behavior: a Structural Taxonomy
  2018/3/1
• Generative Modeling of Multimodal Multi-Human Behavior
  2018/3/1
• Risk-sensitive Inverse Reinforcement Learning via Semi- and Non-Parametric Methods
  2017/11/1
• Multimodal Probabilistic Model-Based Planning for Human-Robot Interaction
  2017/10/1
• How Should a Robot Assess Risk? Towards an Axiomatic Theory of Risk in Robotics
  2017/10/1
• Data-Driven Model Predictive Control of Autonomous Mobility-on-Demand Systems
  2017/9/1
• Learning Sampling Distributions for Robot Motion Planning
  2017/9/1
• On the interaction between Autonomous Mobility-on-Demand systems and the power network: models and coordination algorithms
  2017/9/1
• ADAPT: Zero-Shot Adaptive Policy Transfer for Stochastic Dynamical Systems
  2017/7/1
• Perception-Aware Motion Planning via Multiobjective Search on GPUs
  2017/5/1
• Group Marching Tree: Sampling-Based Approximately Optimal Motion Planning on GPUs
  2017/5/1
• The Team Surviving Orienteers Problem: Routing Robots in Uncertain Environments with Survival Constraints
  2016/12/1
• Evaluating Trajectory Collision Probability through Adaptive Importance Sampling for Safe Motion Planning
  2016/9/1
• Real-Time Stochastic Kinodynamic Motion Planning via Multiobjective Search on GPUs
  2016/7/1
• Mixed Strategy for Constrained Stochastic Optimal Control
  2016/7/1
• Optimized and Trusted Collision Avoidance for Unmanned Aerial Vehicles using Approximate Dynamic Programming (Technical Report)
  2016/2/1
• Decentralized Algorithms for 3D Symmetric Formations in Robotic Networks: a Contraction Theory Approach
  2015/11/1
• Trading Safety Versus Performance: Rapid Deployment of Robotic Swarms with Robust Performance Constraints
  2015/11/1
• An Asymptotically-Optimal Sampling-Based Algorithm for Bi-directional Motion Planning
  2015/7/1
• A Convex Optimization Approach to Smooth Trajectories for Motion Planning with Car-Like Robots
  2015/6/1
• Deterministic Sampling-Based Motion Planning: Optimality, Complexity, and Performance
  2015/5/1
• Monte Carlo Motion Planning for Robot Trajectory Optimization Under Uncertainty
  2015/4/1
• On the fundamental limitations of performance for distributed decision-making in robotic networks
  2014/9/1
• Optimal Sampling-Based Motion Planning under Differential Constraints: the Drift Case with Linear Affine Dynamics
  2014/5/1
• Control of Robotic Mobility-On-Demand Systems: a Queueing-Theoretical Perspective
  2014/4/1
• Optimal Sampling-Based Motion Planning under Differential Constraints: the Driftless Case
  2014/3/1
• Fast Marching Tree: a Fast Marching Sampling-Based Method for Optimal Motion Planning in Many Dimensions
  2013/6/1
• Dynamic Multi-Vehicle Routing with Multiple Classes of Demands
  2009/3/1
• Equitable Partitioning Policies for Mobile Robotic Networks
  2009/3/1
• Distributed and Adaptive Algorithms for Vehicle Routing in a Stochastic and Dynamic Environment
  2009/3/1