Jonathan Francis
Bosch Research
収録論文 42本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- GTA-2: 接地されたタスク軸によるロボットマニピュレーションスキル合成のためのマルチVLMフレームワークマニピュレーション2026/9/9
4つのVLMエージェントがタスクを分解し、キーポイントや軸・制御パラメータを接地させて、実機ロボットのマニピュレーションスキルをゼロショットで生成するフレームワーク。
- ControlledShifts: 分布シフト下での軌道予測におけるロバスト性評価の標準化に向けて軌道予測2026/8/18
軌道予測モデルの分布シフトに対するロバスト性を標準化して評価するフレームワークとベンチマークスイートを提案し、既存データセットを系統的に再分割して複数のシフトを生成し、統一的なロバスト性スコアでモデルを評価する。
- シナリオ特性化：軌跡データセット全体の安全性評価のためのモジュール型ツールキット自動運転/データセット分析2026/8/17
運転シナリオの軌跡データセットを自動的に分析・特性化するオープンソースのフレームワークを提案し、データセットに依存しないモジュール構成で安全性評価を可能にする。
- GaP: 変動的オートメーションタスクのためのグラフとしてのポリシーを用いたマルチエージェント自己学習ハーネスタスク計画2026/7/1
ロボットの信頼性を高めるため、エージェント型コーディングと解釈可能なロボットプログラミングを組み合わせ、タスクをグラフ構造で表現して自己学習する手法を提案した。
- 回復・発見・計画：ロボットの失敗からスキルと概念を学習する強化学習/計画2026/6/1
ロボットが失敗から回復するだけでなく、将来の失敗を避けるための抽象的な知識を獲得する手法を提案。強化学習で回復スキルを学び、その経験から関係述語を発見して抽象計画に活用する。
- VibeAct: 振動から行動へ - 接触の多い反応的ロボット器用操作のための手法器用操作2026/6/1
圧電マイクで取得した実振動信号を、シミュレーションで共有可能な接触・滑り表現に変換し、実世界とシミュレーションのギャップを埋めることで、器用なロボットハンドのポリシー学習を可能にするフレームワークを提案した。
- RIO: クロスエンボディメントロボット学習のための柔軟なリアルタイムロボットI/Oロボット学習基盤2026/5/1
多様なロボットハードウェアと形態に対応した、柔軟で軽量なロボット制御・遠隔操作・データ整形・センサ設定・ポリシー展開のためのオープンソースPythonフレームワークを提案し、VLAモデルの展開と微調整を実証した。
- 触覚ドリーミングによる多用途ヒューマノイド操作の学習ヒューマノイド操作2026/4/1
ヒューマノイドの全身操作を安定させるRLベースの下半身制御とVRデータ収集システムを開発し、触覚を主要モダリティとして扱うマルチモーダルトランスフォーマーHTDを提案。触覚の潜在予測により接触認識表現を学習し、実世界の接触豊富なタスクで成功率を大幅に向上させた。
- SOFTMAP: トポロジカルメッシュ整列と物理事前知識によるソフトロボットのSim2Real順モデリングソフトロボティクス/sim2real2026/3/1
腱駆動ソフトフィンガーの3次元順モデルを、シミュレーションと実データを組み合わせて高精度に学習するフレームワークを提案。
- APEX：ヒューマノイドロボットのための適応的高プラットフォーム踏破学習歩行2026/2/1
深層強化学習を用いて、脚長を超える高さのプラットフォームを登攀・歩行・這行・立ち上がり・伏せの6スキルを統合した単一ポリシーで自律的に踏破するシステムを開発し、Unitree G1で実機ゼロショット転移を実現した。
- LightTact：変形に依存しない接触センシングを実現する視覚触覚指先センサ触覚2025/12/1
接触時に生じる散乱光のみを捉える光学構成により、変形を伴わない軽微な接触を高コントラストで可視化する視覚触覚センサを開発し、水やクリームなどへの接触を要するロボット操作を実現した。
- LongComp: ロバストな軌道予測のためのロングテール合成ゼロショット汎化軌道予測2025/11/1
自動運転の軌道予測において、安全上重要な稀なシナリオへの汎化を評価する新たなロングテール設定を提案し、タスクモジュラーゲーティングと難易度予測ヘッドでOOD性能ギャップを削減した。
- DYMO-Hair: ロボットによる髪の毛操作のための汎化可能な体積動力学モデリングマニピュレーション2025/10/1
髪の毛の複雑な動力学を学習し、モデル予測制御を用いてロボットが目標の髪型にスタイリングするシステムを提案。シミュレーションと実機で未知の髪型にも汎化することを示した。
- 視覚音響融合による手姿勢と接触推定触覚2025/8/1
骨伝導スピーカーと圧電マイクを手に装着し、音響信号とRGB-D画像をグラフ注意ネットワークで統合することで、遮蔽や静的な接触時でも高精度に手の姿勢と接触を推定するウェアラブルシステムを提案。
- 実世界の衝突データに基づく自動運転向け安全臨界シナリオ生成自動運転シナリオ生成2025/7/1
実世界の衝突データから危険な運転行動の埋め込み表現を学習し、それを敵対的シナリオ生成に組み込むことで、より現実的で高リスクな安全臨界シナリオを生成する手法を提案した。
- Human2LocoMan: 人間データの事前学習による多様な四足歩行ロボットのマニピュレーション学習マニピュレーション2025/6/1
人間と四足ロボットLocoManのデータを統合した遠隔操作・データ収集パイプラインとモジュール型アーキテクチャを構築し、人間データでの事前学習により実世界タスクの成功率を大幅に向上させた。
- STRIVE: VLM推論を統合した構造的表現による効率的物体ナビゲーション物体ナビゲーション2025/5/1
VLMを物体ナビゲーションに活用するため、環境を視点・物体・部屋の階層で表現し、VLM推論による高レベル計画と低レベル探索を組み合わせる二段階方策を提案。シミュレーションと実機で成功率と効率を向上させた。
- KineSoft：ソフトロボットハンドの固有感覚マニピュレーション方策の学習ソフトロボティクス/模倣学習2025/3/1
ソフトロボットハンドの自然な柔軟性を活かし、内部ひずみセンサで形状を推定しながら、人間が直接教示できる模倣学習フレームワークを提案。
- 学習された制約は実は後方到達可能チューブである安全制御2025/1/1
逆制約学習(ICL)が理論的・実践的に何を復元するかを解析し、失敗集合ではなく失敗が不可避な状態集合(後方到達可能チューブ)を復元することを示した論文。
- STRAP: 拡張方策学習のためのロボットサブ軌道検索模倣学習2024/12/1
大規模なロボットデータからサブ軌道単位で関連データを検索し、テスト時に方策を適応的に学習する手法を提案。
- GraphEQA: 3Dセマンティックシーングラフを用いたリアルタイム身体性質問応答VLA2024/12/1
未知環境での身体性質問応答のため、リアルタイム3Dメトリックセマンティックシーングラフとタスク関連画像をマルチモーダルメモリとしてVLMに接地し、階層的計画で探索・回答する手法を提案。シミュレーションと実環境で成功率向上と計画ステップ削減を示した。
- 3Dガウシアンスプラッティングを用いたデモンストレーションにおける物体と接触点の追跡模倣学習2024/11/1
動画デモから接触点と物体の動きを抽出し、3DガウシアンスプラッティングとFoundationPoseで追跡することで、対話型模倣学習を強化する手法を提案した。
- 共有・動的環境向けマルチモーダル3Dシーングラフ更新器シーングラフ2024/11/1
人間・ロボット知覚・時間・行動などのマルチモーダル入力を使い、動的環境で3Dシーングラフをリアルタイムに更新する枠組みを提案した。
- GRAPPA: オンラインエージェント誘導によるロボット政策の汎化と適応マニピュレーション2024/10/1
複数の役割特化型対話エージェントが協調し、基礎ロボット政策をオンラインで環境に接地させて行動分布を望ましい状態へ誘導することで、未知環境への汎化と適応を実現するフレームワークを提案。
- SEAL: スキル活用型敵対学習による閉ループシナリオ生成で安全な自動運転へ自動運転/シナリオ生成2024/9/1
自動運転の検証用に、人間らしい運転スキルと学習した目的関数を組み合わせて現実的かつ多様な敵対的シナリオを生成する手法SEALを提案し、既存手法より現実的なシナリオで自車の成功率を20%以上改善した。
- RoPotter: 構造的事前知識を活用したロボットによる陶芸と変形可能物体の操作変形可能物体操作2024/8/1
陶芸ろくろ上の粘土を連続的に変形させる新タスクを提案し、粘土の断面投影とメッシュベースの隠れ状態復元により、長期的な陶芸作業を可能にするロボットシステムRoPotterを開発した。
- シーングラフを用いた交通事故事象理解のための視覚言語モデル強化VLA2024/7/1
交通事故の種類を分類するため、映像をシーングラフに変換し、視覚・言語情報と融合するマルチモーダル手法を提案。DoTAベンチマークでシーングラフなしより約5ポイント高い精度を達成した。
- 家庭内でのオープンワールド移動マニピュレーションに向けて：NeurIPS 2023 HomeRobotオープン語彙移動マニピュレーションチャレンジからの教訓移動マニピュレーション2024/7/1
家庭環境で任意の物体を見つけて任意の場所に置くオープン語彙移動マニピュレーションのベンチマークを提案し、NeurIPS 2023コンペを実施。シミュレーションと実世界で評価し、成功チームに共通するエラー検出・回復と知覚・意思決定の統合の重要性を示した。
- CaDRE: 実世界軌跡を用いた安全臨界運転シナリオの制御可能で多様な生成自動運転シミュレーション2024/3/1
実世界の走行データとブラックボックス最適化を組み合わせ、自動運転の安全性評価に必要な多様で制御可能な危険シナリオを効率的に生成するフレームワークを提案した。
- Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis2023/12/1
- SafeShift: Safety-Informed Distribution Shifts for Robust Trajectory Prediction in Autonomous Driving2023/9/1
- MOSAIC: Learning Unified Multi-Sensory Object Property Representations for Robot Learning via Interactive Perception2023/9/1
- What Went Wrong? Closing the Sim-to-Real Gap via Differentiable Causal Discovery2023/6/1
- Core Challenges in Embodied Vision-Language Planning2023/4/1
- Cross-Tool and Cross-Behavior Perceptual Knowledge Transfer for Grounded Object Recognition2023/3/1
- Distribution-aware Goal Prediction and Conformant Model-based Planning for Safe Autonomous Driving2022/12/1
- Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation2022/12/1
- Transferring Implicit Knowledge of Non-Visual Object Properties Across Heterogeneous Robot Morphologies2022/9/1
- Learn-to-Race Challenge 2022: Benchmarking Safe Learning and Cross-domain Generalisation in Autonomous Racing2022/5/1
- Safe Autonomous Racing via Approximate Reachability on Ego-vision2021/10/1
- Core Challenges in Embodied Vision-Language Planning2021/6/1
- Learn-to-Race: A Multimodal Control Environment for Autonomous Racing2021/3/1