Jean Oh
Carnegie Mellon University
収録論文 73本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 相対接触速度制御による手指機構で巧みな道具操作を実現マニピュレーション2026/9/22
人間の道具操作に着想を得て、手指と道具を統合した「ハンド・オブジェクト機構」を定義し、相対接触速度と接触力の制約に基づく運動計画・接触推定フレームワークを開発。5種類のロボットハンドで道具の把持から操作までの一連の動作を実現した。
- 同じ軌道、矛盾する報酬（ROBORMBENCH）：視覚言語報酬モデルにおける言い換えの脆弱性VLM報酬モデル2026/9/4
視覚言語モデルをロボット学習の報酬関数として使う際、意味的に等価な指示の言い換えで報酬が大きく変わり、成功と失敗が反転することもあることを示し、その脆弱性を測るベンチマークROBORMBENCHを構築した。
- 言語フィードバックによるVLAモデル失敗の訓練不要な行動補正VLA2026/8/30
VLAモデルの実行時失敗を、再訓練なしにタスクレベルの自然言語補正で行動の大きさを調整して修正するフレームワークCorrectVLAを提案。シミュレーションと実ロボットで有効性を示し、修正可能な失敗の境界を明らかにした。
- ControlledShifts: 分布シフト下での軌道予測におけるロバスト性評価の標準化に向けて軌道予測2026/8/18
軌道予測モデルの分布シフトに対するロバスト性を標準化して評価するフレームワークとベンチマークスイートを提案し、既存データセットを系統的に再分割して複数のシフトを生成し、統一的なロバスト性スコアでモデルを評価する。
- シナリオ特性化：軌跡データセット全体の安全性評価のためのモジュール型ツールキット自動運転/データセット分析2026/8/17
運転シナリオの軌跡データセットを自動的に分析・特性化するオープンソースのフレームワークを提案し、データセットに依存しないモジュール構成で安全性評価を可能にする。
- 微分可能な物理レンダリングによるオンライン・オフライン手書きの橋渡し手書き生成2026/8/1
筆跡の軌跡と見た目を結ぶ物理ブラシモデルと微分可能レンダリングを導入し、オンラインとオフラインの手書き生成を統合するフレームワークを提案した。
- VibeAct: 振動から行動へ - 接触の多い反応的ロボット器用操作のための手法器用操作2026/6/1
圧電マイクで取得した実振動信号を、シミュレーションで共有可能な接触・滑り表現に変換し、実世界とシミュレーションのギャップを埋めることで、器用なロボットハンドのポリシー学習を可能にするフレームワークを提案した。
- RIO: クロスエンボディメントロボット学習のための柔軟なリアルタイムロボットI/Oロボット学習基盤2026/5/1
多様なロボットハードウェアと形態に対応した、柔軟で軽量なロボット制御・遠隔操作・データ整形・センサ設定・ポリシー展開のためのオープンソースPythonフレームワークを提案し、VLAモデルの展開と微調整を実証した。
- 視覚的彫塑：長期的ロボット粘土彫刻のための視覚整合プランニング表現変形操作2026/5/1
粘土彫刻を形状マッチング問題として捉え、視覚的特徴を捉えたダイナミクスモデルとプランニング手法を提案。複数の変形材料とエンドエフェクタで長期的彫刻を実証した。
- 仮想人間デモからソフトロボットポリシーへの機能的な力認識リターゲティングソフトロボティクス/リターゲティング2026/4/1
ソフトロボットハンドに人間の操作スキルを教えるため、接触力を明示的に考慮した2段階の力認識リターゲティング手法を提案し、実世界での成功率を向上させた。
- A-SLIP: 音響センシングによる連続的な手内滑り推定触覚/滑り推定2026/4/1
平行ジョーグリッパに圧電マイクを組み込み、接触振動を音響信号として捉え、軽量CNNで滑りの有無・方向・大きさをリアルタイム推定するシステムを提案した。
- SysNav: マルチレベル系統的協調による実世界・クロスエンボディ物体ナビゲーションの実現ナビゲーション2026/3/1
実世界の物体ナビゲーションをシステムレベルで捉え、セマンティック推論・ナビゲーション計画・運動制御を分離した3層システムSysNavを提案し、車輪型ロボット、四足、人型の3つの異なるエンボディで実証した。
- SOFTMAP: トポロジカルメッシュ整列と物理事前知識によるソフトロボットのSim2Real順モデリングソフトロボティクス/sim2real2026/3/1
腱駆動ソフトフィンガーの3次元順モデルを、シミュレーションと実データを組み合わせて高精度に学習するフレームワークを提案。
- ハミルトン・ヤコビ到達可能性と強化学習による自転車との安全なインタラクション自動運転/強化学習2026/2/1
自動運転車が自転車と安全かつ効率的に相互作用するため、ハミルトン・ヤコビ到達可能性解析と深層Q学習を組み合わせ、安全性を考慮した報酬設計と自転車の反応モデルを導入したフレームワークを提案。
- 信頼する前に：基盤モデルのナビゲーション意思決定における失敗ナビゲーション2026/1/1
基盤モデルのナビゲーション意思決定を3設定6タスクで評価し、高い成功率の裏に構造的空間理解の欠如や制約違反などの重大な失敗があることを示した。
- LongComp: ロバストな軌道予測のためのロングテール合成ゼロショット汎化軌道予測2025/11/1
自動運転の軌道予測において、安全上重要な稀なシナリオへの汎化を評価する新たなロングテール設定を提案し、タスクモジュラーゲーティングと難易度予測ヘッドでOOD性能ギャップを削減した。
- 正負のデモンストレーションとルールベース仕様から学ぶソーシャルナビゲーションソーシャルナビゲーション2025/10/1
正例・負例のデモから密度ベース報酬を学習し、ルールベースの目的と組み合わせて安全で適応的な移動ロボットナビゲーション方策を蒸留するフレームワークを提案した。
- DYMO-Hair: ロボットによる髪の毛操作のための汎化可能な体積動力学モデリングマニピュレーション2025/10/1
髪の毛の複雑な動力学を学習し、モデル予測制御を用いてロボットが目標の髪型にスタイリングするシステムを提案。シミュレーションと実機で未知の髪型にも汎化することを示した。
- 多様体メッシュ上の転がり・滑り接触の測地線追跡に基づく運動学的統合と巧みな把持内操作マニピュレーション2025/8/1
メッシュ上で転がり・滑り接触を測地線追跡により時間積分する手法を提案し、多指ハンドによる把持内操作の計画に応用して精度と安定性を評価した。
- 視覚音響融合による手姿勢と接触推定触覚2025/8/1
骨伝導スピーカーと圧電マイクを手に装着し、音響信号とRGB-D画像をグラフ注意ネットワークで統合することで、遮蔽や静的な接触時でも高精度に手の姿勢と接触を推定するウェアラブルシステムを提案。
- 実世界の衝突データに基づく自動運転向け安全臨界シナリオ生成自動運転シナリオ生成2025/7/1
実世界の衝突データから危険な運転行動の埋め込み表現を学習し、それを敵対的シナリオ生成に組み込むことで、より現実的で高リスクな安全臨界シナリオを生成する手法を提案した。
- STRIVE: VLM推論を統合した構造的表現による効率的物体ナビゲーション物体ナビゲーション2025/5/1
VLMを物体ナビゲーションに活用するため、環境を視点・物体・部屋の階層で表現し、VLM推論による高レベル計画と低レベル探索を組み合わせる二段階方策を提案。シミュレーションと実機で成功率と効率を向上させた。
- KineSoft：ソフトロボットハンドの固有感覚マニピュレーション方策の学習ソフトロボティクス/模倣学習2025/3/1
ソフトロボットハンドの自然な柔軟性を活かし、内部ひずみセンサで形状を推定しながら、人間が直接教示できる模倣学習フレームワークを提案。
- 幾何誘導コントラスト学習によるスペクトル別・マルチスペクトル深度推定の橋渡し深度推定2025/3/1
マルチスペクトル画像から深度を推定するため、幾何情報を手がかりにコントラスト学習でスペクトル間の埋め込み空間を整列し、選択的に特徴を統合するモジュールを学習する手法を提案。
- 柔軟でコンプライアントな接触の多いヘアケアマニピュレーションソフトロボティクス/マニピュレーション2025/1/1
腱駆動の柔軟ロボットハンドとRGBDカメラを用い、頭を撫でる・指で梳かす・髪を掴むヘアケアタスクを実現し、視覚変形と腱張力から力を推定する手法を提案した。
- 微分可能マルチフィジックスシミュレーションにおける強化学習の安定化sim2real2024/12/1
剛体と変形可能物体の相互作用を含むタスクで強化学習をスケールさせるため、最大エントロピー型のモデルベースRLアルゴリズムSAPOと、並列微分可能マルチフィジックスシミュレータRewarpedを提案した。
- SonicBoom: マイクロフォンアレイによる接触位置推定触覚2024/12/1
ロボットのエンドエフェクタに取り付けた複数の接触マイクで音響信号を学習し、衝突位置を高精度に推定するシステムを開発した。
- Spline-FRIDA：多様で人間らしい筆致を実現するサンプル効率の良い微分可能筆ストロークモデルマニピュレーション2024/12/1
モーションキャプチャで人間の筆致を記録し、オートエンコーダと新たなストローク動力学モデルでロボット描画プラットフォームFRIDAを拡張、より人間らしく芸術的な筆致を生成できるようにした。
- ソフトロボットハンドによる動的なペン回しの学習マニピュレーション2024/11/1
柔らかいロボットハンドでペンを回す動的タスクを、実世界データのみからの試行錯誤で学習するシステムSWIFTを提案し、異なるペンで100%の成功率を達成した。
- 支援型ヘアケアロボティクスにおける包摂性：毛髪操作の実践的・倫理的考察支援ロボティクス2024/11/1
ヘアケア支援ロボットの開発において、髪型や髪質が個人のアイデンティティ表現に果たす役割を踏まえ、包摂的で倫理的な設計のための実践的・倫理的課題を整理・議論した論文。
- GRAPPA: オンラインエージェント誘導によるロボット政策の汎化と適応マニピュレーション2024/10/1
複数の役割特化型対話エージェントが協調し、基礎ロボット政策をオンラインで環境に接地させて行動分布を望ましい状態へ誘導することで、未知環境への汎化と適応を実現するフレームワークを提案。
- FIReStereo: 視界不良環境におけるUAS深度知覚のための森林赤外ステレオデータセットステレオ深度推定2024/9/1
煙・雨・夜間など視界が悪い環境でも使えるよう、熱赤外ステレオカメラとLiDAR・IMUで都市・森林を撮影した大規模データセットを構築し、代表的なステレオ深度推定手法を評価した。
- SEAL: スキル活用型敵対学習による閉ループシナリオ生成で安全な自動運転へ自動運転/シナリオ生成2024/9/1
自動運転の検証用に、人間らしい運転スキルと学習した目的関数を組み合わせて現実的かつ多様な敵対的シナリオを生成する手法SEALを提案し、既存手法より現実的なシナリオで自車の成功率を20%以上改善した。
- 道具を操る多指ロボットハンド設計のための基礎ポーズ選択メカニズムマニピュレーション2024/9/1
道具を操るための基礎ポーズ（FP）を仮説として、FPに到達できるハンドは道具を操れるとし、サンプリングベースの多目的最適化で多様なハンド設計を生成・評価した。
- RoPotter: 構造的事前知識を活用したロボットによる陶芸と変形可能物体の操作変形可能物体操作2024/8/1
陶芸ろくろ上の粘土を連続的に変形させる新タスクを提案し、粘土の断面投影とメッシュベースの隠れ状態復元により、長期的な陶芸作業を可能にするロボットシステムRoPotterを開発した。
- 消失点を活用した3Dセマンティック占有予測3D占有予測2024/8/1
消失点を用いて2D画像と3D空間のスケール不一致を補正し、カメラ画像から3Dセマンティック占有を高精度に予測する手法を提案。
- 人間中心の建設ロボティクスに向けて：大工作業者を状況に応じて支援する強化学習駆動のコンパニオンロボット建設ロボティクス2024/3/1
建設現場の大工作業者に寄り添い、強化学習で状況に応じた支援を行う移動型コンパニオンロボットを提案し、型枠作業での実証を通じて安全性と作業の流れを高める協調モデルを示した。
- 軟体ロボットハンドの自動設計反復のための設計と制御の共最適化マニピュレーション2024/3/1
遺伝的アルゴリズムと方策転移を組み合わせ、約400の軟体ロボットハンド設計の制御方策を学習し、把持品質を評価して設計を最適化。実世界のテレオペレーションで検証し、シミュレーションの有効性を示した。
- CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting2024/2/1
- POE: Acoustic Soft Robotic Proprioception for Omnidirectional End-effectors2024/1/1
- Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation2023/12/1
- SoRTS: Learned Tree Search for Long Horizon Social Robot Navigation2023/9/1
- SafeShift: Safety-Informed Distribution Shifts for Robust Trajectory Prediction in Autonomous Driving2023/9/1
- EigenTrajectory: Low-Rank Descriptors for Multi-Modal Trajectory Forecasting2023/7/1
- Designing Anthropomorphic Soft Hands through Interaction2023/6/1
- Learned Tree Search for Long-Horizon Social Robot Navigation in Shared Airspace2023/4/1
- Core Challenges in Embodied Vision-Language Planning2023/4/1
- Complementary Random Masking for RGB-Thermal Semantic Segmentation2023/3/1
- Distribution-aware Goal Prediction and Conformant Model-based Planning for Safe Autonomous Driving2022/12/1
- Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation2022/12/1
- Challenges in Close-Proximity Safe and Seamless Operation of Manned and Unmanned Aircraft in Shared Airspace2022/11/1
- FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment2022/10/1
- T2FPV: Dataset and Method for Correcting First-Person View Errors in Pedestrian Trajectory Prediction2022/9/1
- Follow The Rules: Online Signal Temporal Logic Tree Search for Guided Imitation Learning in Stochastic Domains2022/9/1
- Social-PatteRNN: Socially-Aware Trajectory Prediction Guided by Motion Patterns2022/9/1
- RCA: Ride Comfort-Aware Visual Navigation via Self-Supervised Learning2022/7/1
- Learn-to-Race Challenge 2022: Benchmarking Safe Learning and Cross-domain Generalisation in Autonomous Racing2022/5/1
- UGV-UAV Object Geolocation in Unstructured Environments2022/1/1
- Safe Autonomous Racing via Approximate Reachability on Ego-vision2021/10/1
- FAR Planner: Fast, Attemptable Route Planner using Dynamic Visibility Update2021/10/1
- Autonomous Exploration Development Environment and the Planning Algorithms2021/10/1
- Predicting Like A Pilot: Dataset and Method to Predict Socially-Aware Aircraft Trajectories in Non-Towered Terminal Airspace2021/9/1
- Core Challenges in Embodied Vision-Language Planning2021/6/1
- Language Understanding for Field and Service Robots in a Priori Unknown Environments2021/5/1
- Core Challenges of Social Robot Navigation: A Survey2021/3/1
- NaviGAN: A Generative Approach for Socially Compliant Navigation2020/7/1
- Noticing Motion Patterns: Temporal CNN with a Novel Convolution Operator for Human Trajectory Prediction2020/7/1
- Artistic Style in Robotic Painting; a Machine Learning Approach to Learning Brushstroke from Human Artists2020/7/1
- Following Social Groups: Socially Compliant Autonomous Navigation in Dense Crowds2019/11/1
- Explainable Semantic Mapping for First Responders2019/10/1
- Social Attention: Modeling Attention in Human Crowds2017/10/1
- Modeling Cooperative Navigation in Dense Human Crowds2017/5/1
- Path Planning in Dynamic Environments with Adaptive Dimensionality2016/5/1