論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/10/7 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文模倣学習機械学習
観測からの拡散模倣学習
拡散モデルを敵対的模倣学習に組み込み、状態遷移の生成と識別を同時に行うことで、行動ラベルなしのデモンストレーションからロボットの連続制御を学習する手法を提案した。
原題: Diffusion Imitation from Observation / Bo-Ruei Huang, Chun-Kai Yang, Chun-Mao Lai 他
日本語で読む → - 論文模倣学習ロボティクス
ARCADE: 拡張現実による模倣学習のためのスケーラブルなデモ収集と生成
ARを使って手で日常作業をするだけでデモを収集し、1つの人間デモから合成デモを自動生成することで、模倣学習のデモ収集を効率化するフレームワークを提案。実機Fetchロボットで複数タスクの学習と水注ぎタスク80%成功を達成。
原題: ARCADE: Scalable Demonstration Collection and Generation via Augmented Reality for Imitation Learning / Yue Yang, Bryce Ikeda, Gedas Bertasius 他
日本語で読む → - 論文模倣学習機械学習
M2Distill: 生涯模倣学習のためのマルチモーダル蒸留
視覚・言語・行動の潜在空間を一貫させ、GMM方策のずれを抑えるマルチモーダル蒸留により、破滅的忘却を防ぎつつ新タスクを継続学習する手法を提案。
原題: M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning / Kaushik Roy, Akila Dissanayake, Brendan Tidd 他
日本語で読む → - 論文模倣学習ロボティクス
VLMimic: 視覚言語モデルによる細粒度動作の視覚的模倣学習
少数の人間動画から、視覚言語モデルを用いて細かい動作レベルまで直接学習し、ロボットの模倣学習を効率化する手法を提案。
原題: VLMimic: Vision Language Models are Visual Imitation Learner for Fine-grained Actions / Guanyan Chen, Meiling Wang, Te Cui 他
日本語で読む → - 論文模倣学習ロボティクス
動力学教師ありモデルによる非把持マニピュレーションの視覚模倣学習
非把持操作のような動的タスクにおいて、次フレームRGB予測に加えて物体の位置・速度・加速度を直接予測する動力学マッピングを導入し、より汎化性の高い視覚バックボーンとタスク方策を学習する手法を提案した。
原題: Visual Imitation Learning of Non-Prehensile Manipulation Tasks with Dynamics-Supervised Models / Abdullah Mustafa, Ryo Hanai, Ixchel Ramirez 他
日本語で読む → - 論文模倣学習機械学習
WARPD: 世界モデル支援による反応型ポリシー拡散
拡散モデルで軌道ではなくニューラルポリシーの重みを生成し、閉ループ制御を実現することで、長期的タスクや外乱に強く、推論コストを大幅に削減した手法。
原題: WARPD: World model Assisted Reactive Policy Diffusion / Shashank Hegde, Satyajeet Das, Gautam Salhotra 他
日本語で読む → - 論文模倣学習ロボティクス
ねじ幾何とバンディットで教示を賢く集める:操作計画生成のための漸進的デモンストレーション獲得
ねじ幾何表現とマルチアームドバンディットに基づくサンプリングで、ロボットが操作タスクを確実に遂行できるまで必要な教示デモを段階的に要求・獲得する手法を提案。
原題: Screw Geometry Meets Bandits: Incremental Acquisition of Demonstrations to Generate Manipulation Plans / Dibyendu Das, Aditya Patankar, Nilanjan Chakraborty 他
日本語で読む → - 論文模倣学習ロボティクス
MILES: 自己教師あり学習で模倣学習を簡単に
単一の実演と環境リセット1回だけで、自己教師ありデータ収集により効率的に方策を学習する手法を提案し、鍵を使った接触の多い操作を含む実世界タスクで既存手法を上回ることを示した。
原題: MILES: Making Imitation Learning Easy with Self-Supervision / Georgios Papagiannis, Edward Johns
日本語で読む → - 論文模倣学習ロボティクス
SkillMimicGen: スキル学習と展開を効率化する自動デモ生成
少数の人間デモをスキルに分割・適応・連結して大量のデモを自動生成し、ハイブリッドスキルポリシーで長期的タスクの模倣学習と実機転移を実現する。
原題: SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment / Caelan Garrett, Ajay Mandlekar, Bowen Wen 他
日本語で読む → - 論文模倣学習/ヒューマノイドロボティクス
OKAMI: 単一動画の模倣によるヒューマノイドロボットの操作スキル学習
1本のRGB-D動画から物体を認識して人間の動きをヒューマノイドに再ターゲティングし、操作計画と実行ポリシーを生成する手法を提案。閉ループ視覚運動ポリシーは79.2%の成功率を達成した。
原題: OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation / Jinhan Li, Yifeng Zhu, Yuqi Xie 他
日本語で読む → - 論文模倣学習ロボティクス
二段階最適化によるヒューマノイドロボットの動作模倣
人間のモーションキャプチャデータを物理的に実現可能な参照動作へと修正しながら、ヒューマノイドロボットの模倣学習ポリシーを二段階最適化で同時に訓練する手法を提案した。
原題: Bi-Level Motion Imitation for Humanoid Robots / Wenshuai Zhao, Yi Zhao, Joni Pajarinen 他
日本語で読む → - 論文模倣学習ロボティクス
マルチタスク模倣学習による運転教示システム
専門家の教示データ不足を補うため、マルチタスク模倣学習で高性能運転のコーチングシステムを訓練し、実車実験と被験者研究で有効性を示した。
原題: Computational Teaching for Driving via Multi-Task Imitation Learning / Deepak Gopinath, Xiongyi Cui, Jonathan DeCastro 他
日本語で読む → - 論文模倣学習ロボティクス
教示に基づく説明可能AIによる模倣学習手法
逆強化学習に適応的な説明フィードバックを組み込み、成功・失敗軌道を選択的に提示することで、ロボットの性能と教示効率、ユーザ理解を向上させる手法を提案した。
原題: Demonstration Based Explainable AI for Learning from Demonstration Methods / Morris Gu, Elizabeth Croft, Dana Kulic
日本語で読む → - 論文模倣学習ロボティクス
タスク関連視点と領域に着目した移動マニピュレータのロバスト模倣学習
複数視点の注意機構を用いて、遮蔽や環境変化に強い移動マニピュレータの視覚運動ポリシーを模倣学習で獲得する手法を提案。
原題: Robust Imitation Learning for Mobile Manipulator Focusing on Task-Related Viewpoints and Regions / Yutaro Ishida, Yuki Noguchi, Takayuki Kanai 他
日本語で読む → - 論文模倣学習/データ収集ロボティクス
ARCap: 拡張現実フィードバックで高品質な人間デモンストレーションを収集するロボット学習システム
ARによる視覚フィードバックと触覚警告で初心者でもロボット実行可能な高品質デモを収集できる携帯型データ収集システムを提案し、混雑環境での操作や長期的なクロスエンボディメント操作を実現した。
原題: ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback / Sirui Chen, Chen Wang, Kaden Nguyen 他
日本語で読む → - 論文模倣学習ロボティクス
未分割デモンストレーションからの長期視覚運動タスクに対するワンショット頑健模倣学習
動的運動プリミティブとメタ学習を組み合わせ、未分割の長期デモンストレーションから学習し、単一のデモで未知タスクに適応できる模倣学習フレームワークMiLaを提案。外乱や視覚遮蔽にも頑健。
原題: One-Shot Robust Imitation Learning for Long-Horizon Visuomotor Tasks from Unsegmented Demonstrations / Shaokang Wu, Yijin Wang, Yanlong Huang
日本語で読む → - 論文模倣学習ロボティクス
限られた行動データで模倣学習を実現する拡散プランナとDeep Koopman制御器
観測のみのデモデータからDeep Koopman作用素で潜在行動表現を学習し、拡散プランナと組み合わせることで、行動ラベル付きデータを大幅に削減してロボットの模倣学習を高成功率で行う手法を提案した。
原題: Imitation Learning with Limited Actions via Diffusion Planners and Deep Koopman Controllers / Jianxin Bi, Kelvin Lim, Kaiqi Chen 他
日本語で読む → - 論文模倣学習ロボティクス
10回のデモから学ぶ:指向性アフォーダンスフレームによる汎化可能でサンプル効率の良い方策学習
指向性アフォーダンスフレームという構造化表現を用いて、わずか10回のデモから汎化性能の高いロボット方策を学習し、長期・複数物体タスクをサブ方策の合成で解決する手法を提案。
原題: Learning from 10 Demos: Generalisable and Sample-Efficient Policy Learning with Oriented Affordance Frames / Krishan Rana, Jad Abou-Chakra, Sourav Garg 他
日本語で読む → - 論文模倣学習ロボティクス
DABI: 画像を用いたバイラテラル制御ベース模倣学習におけるダウンサンプリングによるデータ拡張手法の評価
ロボットの模倣学習において、1000Hzの関節データと100Hzの画像をダウンサンプリングで同期させ、データを10倍に拡張するDABIを提案し、実機実験で成功率の大幅な向上を確認した。
原題: DABI: Evaluation of Data Augmentation Methods Using Downsampling in Bilateral Control-Based Imitation Learning with Images / Masato Kobayashi, Thanpimon Buamanee, Yuki Uranishi
日本語で読む → - 論文模倣学習ロボティクス
EgoMimic: 一人称視点映像による模倣学習のスケーリング
スマートグラスで撮影した一人称視点の人間の手の映像とロボットのデータを統合して模倣学習を行い、多様な長期的マニピュレーションタスクの性能と汎化を向上させるフレームワークを提案。
原題: EgoMimic: Scaling Imitation Learning via Egocentric Video / Simar Kareer, Dhruv Patel, Ryan Punamiya 他
日本語で読む → - 論文模倣学習ロボティクス
潜在フィードバック制御器の切り替えによるスキル獲得の確率的モデル
混合密度ネットワークを潜在状態に条件付けられたフィードバック制御器のライブラリとして再解釈し、スキル獲得を潜在空間のセグメンテーションとして捉える確率的グラフィカルモデルを提案。人間のデモンストレーションから学習し、タスク成功率と観測ノイズへの頑健性を向上させ、実機ロボットでの展開も示した。
原題: A Probabilistic Model for Skill Acquisition with Switching Latent Feedback Controllers / Juyan Zhang, Dana Kulic, Michael Burke
日本語で読む → - 論文模倣学習機械学習
教師なしサブタスク発見のための選択メカニズムの同定
長期タスクをサブタスクに分解するため、行動に対する「選択」メカニズムとしてサブタスクを捉え、逐次非負値行列分解でサブゴールを学習する手法を提案した。
原題: Identifying Selections for Unsupervised Subtask Discovery / Yiwen Qiu, Yujia Zheng, Kun Zhang
日本語で読む → - 論文模倣学習ロボティクス
拡散方策の合成による運動軌道の少数ショット学習
複数の基本方策の拡散モデルを確率的に合成することで、ロボットに新しい運動軌道を少数の実演から学習させる手法DSEを提案し、評価指標MMD-FKも導入した。
原題: Composing Diffusion Policies for Few-shot Learning of Movement Trajectories / Omkar Patil, Anant Sah, Nakul Gopalan
日本語で読む → - 論文模倣学習機械学習
マルチタスク方策の能動的ファインチューニング
限られたデモ予算でマルチタスク方策を効率的に適応させるため、情報利得が最大となるタスクを能動的に選択してデモを収集する手法AMFを提案。
原題: Active Fine-Tuning of Multi-Task Policies / Marco Bagatella, Jonas Hübotter, Georg Martius 他
日本語で読む → - 論文模倣学習ロボティクス
模倣学習のタスク実行速度を向上させる先行的時間アンサンブル
模倣学習に時間アンサンブルを導入し、将来の行動を先行的に実行することで、追加計算なしでタスク実行速度を最大3倍に高速化した。
原題: Proleptic Temporal Ensemble for Improving the Speed of Robot Tasks Generated by Imitation Learning / Hyeonjun Park, Daegyu Lim, Seungyeon Kim 他
日本語で読む → - 論文模倣学習ロボティクス
大規模モデルによるキーポイント抽象化を用いた物体相対模倣学習
大規模視覚言語モデルを活用してタスクに関連し物体間で一貫したキーポイントを自動生成し、少数の実演データから物体姿勢や視点の変化に頑健な模倣学習を実現するフレームワークKALMを提案。
原題: Keypoint Abstraction using Large Models for Object-Relative Imitation Learning / Xiaolin Fang, Bo-Ruei Huang, Jiayuan Mao 他
日本語で読む → - 論文模倣学習AI
時間的最適輸送報酬によるロボット方策学習
専門家の動画デモからロボットの方策を学ぶ際、最適輸送に時間順序情報を組み込んだ報酬を提案し、Meta-worldベンチマークで有効性を示した。
原題: Robot Policy Learning with Temporal Optimal Transport Reward / Yuwei Fu, Haichao Zhang, Di Wu 他
日本語で読む → - 論文模倣学習ロボティクス
情報理論を活用した手作業の直感的ロボットプログラミング
RGB動画で示された人間の手作業を情報理論で解析し、シーングラフと行動木に変換してロボットが未見環境でも再現できる枠組みを提案。複数被験者の手作業データセットHANDSOMEも公開。
原題: Exploiting Information Theory for Intuitive Robot Programming of Manual Activities / Elena Merlo, Marta Lagomarsino, Edoardo Lamon 他
日本語で読む → - 論文模倣学習ロボティクス
不確実性をオンライン適応する対話型模倣学習:断続的フィードバックと専門家シフトへの対応
専門家の断続的なフィードバックを活用し、オンライン共形予測で不確実性を適応的に校正する対話型模倣学習手法ConformalDAggerを提案。
原題: Conformalized Interactive Imitation Learning: Handling Expert Shift and Intermittent Feedback / Michelle Zhao, Reid Simmons, Henny Admoni 他
日本語で読む → - 論文模倣学習ロボティクス
実行ミスマッチ下でのワンショット模倣学習
人間とロボットの軌道を系列レベルの最適輸送コストで自動対応付けし、ペアデータなしで長期タスクの模倣を可能にするRHyMEを提案した。
原題: One-Shot Imitation under Mismatched Execution / Kushal Kedia, Prithwish Dan, Angela Chao 他
日本語で読む →