論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/7/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文マニピュレーションロボティクス
ロボットエアホッケーにおける高速軌道最適化のための接触計画の蒸留
接触を伴うロボット制御において、高レベルの接触計画を確率的制御方策から蒸留し、低レベルではモデル予測制御を行うことで、エアホッケーの高速かつ正確なショットを実現した。
原題: Distilling Contact Planning for Fast Trajectory Optimization in Robot Air Hockey ／ Julius Jankowski, Ante Marić, Puze Liu 他
日本語で読む → - 論文マニピュレーションロボティクス
逆強化学習とTD-MPCによるロボットアーム操作
人間の視覚デモンストレーションからコスト関数を逆強化学習で学習し、TD-MPCでロボットアームの操作軌道を最適化する手法を提案し、実機で検証した。
原題: Robotic Arm Manipulation with Inverse Reinforcement Learning & TD-MPC ／ Md Shoyib Hassan, Sabir Md Sanaullah
日本語で読む → - 論文マニピュレーション画像認識
クラフト組立タスクのための部品選択
対象物体のRGB画像から、利用可能な物体の中から最終的なクラフトに使う部分集合を選ぶ手法を提案し、実世界での実装も示した。
原題: Component Selection for Craft Assembly Tasks ／ Vitor Hideyo Isume, Takuya Kiyokawa, Natsuki Yamanobe 他
日本語で読む → - 論文マニピュレーションロボティクス
ペンを回す学習から得られた教訓
シミュレーションで強化学習と軌道データを生成し、実世界で微調整することで、ペンのような物体を手の中で回転させる技能を習得した研究。
原題: Lessons from Learning to Spin "Pens" ／ Jun Wang, Ying Yuan, Haichuan Che 他
日本語で読む → - 論文マニピュレーションロボティクス
粒状斜面における雪崩動態を利用した障害物の間接操作の学習
脚ロボットが砂斜面で移動しやすくなるよう、脚で砂を掘って雪崩を起こし、その動きで石などの障害物を間接的に動かす手法を提案。ViTで対象物の動きを予測し、成功率80%以上を達成した。
原題: Learning Granular Media Avalanche Behavior for Indirectly Manipulating Obstacles on a Granular Slope ／ Haodi Hu, Feifei Qian, Daniel Seita
日本語で読む → - 論文変形物体マニピュレーションロボティクス
TieBot: 実世界-シミュレーション-実世界アプローチによる視覚デモンストレーションからのネクタイ結び学習
ネクタイの変形と長期的な操作が難しいネクタイ結びを、実演動画からメッシュ列を推定し、教師方策と生徒方策を学習して実機に転移するReal-to-Sim-to-Realシステムを提案。実機で双腕ロボットが10回中5回成功。
原題: TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach ／ Weikun Peng, Jun Lv, Yuwei Zeng 他
日本語で読む → - 論文マニピュレーションロボティクス
EquiBot: 汎化性とデータ効率を両立するSIM(3)同変拡散ポリシー
拡散ポリシーにSIM(3)同変なネットワークを組み合わせ、スケール・回転・並進の変化に不変なロボットマニピュレーション方策を実現した。各タスク5分の実演だけで新しい物体や環境に汎化できる。
原題: EquiBot: SIM(3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning ／ Jingyun Yang, Zi-ang Cao, Congyue Deng 他
日本語で読む → - 論文マニピュレーションロボティクス
受容野拡張と把持可能バランスサンプリングによる混雑環境での6自由度把持検出
混雑環境での小さな物体の6自由度把持検出精度を高めるため、受容野を拡張するモジュールと把持可能領域に基づくバランスサンプリングを提案し、GraspNet-1Billionで約10%の精度向上を達成した。
原題: 6-DoF Grasp Detection in Clutter with Enhanced Receptive Field and Graspable Balance Sampling ／ Hanwen Wang, Ying Zhang, Yunlong Wang 他
日本語で読む → - 論文マニピュレーションロボティクス
KOROL: クープマン作用素ロールアウトによる可視化可能な物体特徴の学習とマニピュレーション
クープマン作用素と特徴抽出器を組み合わせ、正解の物体状態なしに視覚情報から操作に有用な物体特徴を学習し、ロボットの軌道を予測する手法を提案した。
原題: KOROL: Learning Visualizable Object Feature with Koopman Operator Rollout for Manipulation ／ Hongyi Chen, Abulikemu Abuduweili, Aviral Agrawal 他
日本語で読む → - 論文マニピュレーションロボティクス
接触状態遷移に基づく行動プリミティブによる手内工具操作
手内での工具操作を接触状態の遷移として捉え、3つの行動表現（detach/crossover/attach）で短期プリミティブに分解して強化学習する手法を提案し、細長い物体の半回転操作に成功した。
原題: APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation ／ Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi 他
日本語で読む → - 論文マニピュレーションロボティクス
DextrAH-G: 幾何学的ファブリックを用いたピクセルから動作への巧みなアーム・ハンド把持
深さ画像から直接動作を生成する強化学習と幾何学的ファブリックを組み合わせ、シミュレーションのみで訓練した23自由度アーム・ハンドロボットの高速で安全な巧みな把持方策を実現した。
原題: DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics ／ Tyler Ga Wei Lum, Martin Matak, Viktor Makoviychuk 他
日本語で読む → - 論文マニピュレーションロボティクス
言語誘導型オブジェクト中心拡散ポリシーによる汎化可能で衝突回避を考慮したロボットマニピュレーション
言語指示と物体中心の3D点群を条件とする拡散ポリシーを学習し、推論時にコスト最適化を組み込むことで、未見環境でも衝突回避しながら操作を実現する手法を提案。
原題: Language-Guided Object-Centric Diffusion Policy for Generalizable and Collision-Aware Robotic Manipulation ／ Hang Li, Qian Feng, Zhi Zheng 他
日本語で読む → - 論文マニピュレーションロボティクス
把持状態のオンライン変化に対応する適応的ロボット工具先端制御学習
把持位置や工具角度が操作中に変化しても、ニューラルネットワークを用いて工具先端位置を推定・制御し、オンラインで適応する手法を開発した。
原題: Adaptive Robotic Tool-Tip Control Learning Considering Online Changes in Grasping State ／ Kento Kawaharazuka, Kei Okada, Masayuki Inaba
日本語で読む → - 論文マニピュレーションロボティクス
GET-Zero: 身体構造グラフを考慮したTransformerによるゼロショット身体汎化
身体構造のグラフ接続をTransformerの注意機構に組み込み、ハードウェア構成の変化に再学習なしで適応できる制御方策を実現した研究。指の欠損やリンク長変更にもゼロショットで汎化し、ベースラインを20%上回った。
原題: GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization ／ Austin Patel, Shuran Song
日本語で読む → - 論文マニピュレーションロボティクス
FFHFlow: フロー変分推論による多様で不確実性を考慮した巧みな把持生成
正規化フローを用いた変分推論により、部分点群から多様で不確実性を考慮した多指ハンドの把持を生成する手法を提案し、シミュレーションと実機で成功率と多様性を向上させた。
原題: FFHFlow: Diverse and Uncertainty-Aware Dexterous Grasp Generation via Flow Variational Inference ／ Qian Feng, Jianxiang Feng, Zhaopeng Chen 他
日本語で読む → - 論文マニピュレーションロボティクス
DexGrasp-Diffusion：多様な多指ロボットハンドのための拡散モデルによる統合的な機能把持生成手法
拡散モデルを用いて、様々な多指ロボットハンドに対応した機能的な把持を生成する統合手法を提案し、物体のアフォーダンス指示に沿った把持を実現した。
原題: DexGrasp-Diffusion: Diffusion-based Unified Functional Grasp Synthesis Method for Multi-Dexterous Robotic Hands ／ Zhengshen Zhang, Lei Zhou, Chenchen Liu 他
日本語で読む → - 論文マニピュレーション自然言語
ロボットマニピュレーションにおける指示の多様性とタスク難易度の役割の調査
マルチモーダルモデルの汎化性能を、指示文の摂動・視覚入力の変化・タスク複雑度の観点から体系的に評価する枠組みを提案し、既存モデルの限界を明らかにした。
原題: Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks ／ Amit Parekh, Nikolas Vitsakis, Alessandro Suglia 他
日本語で読む → - 論文マニピュレーションロボティクス
不確かさ下での巧みなマニピュレーションのためのシナリオ凸計画法
多指ハンドによる物体操作において、接触点位置の不確かさや複数の動作点に対応するため、ロバスト凸計画をシナリオ凸計画として解く制御器設計フレームワークを提案した。
原題: Scenario Convex Programs for Dexterous Manipulation under Modeling Uncertainties ／ Berk Altiner, Adnane Saoud, Alex Caldas 他
日本語で読む → - 論文マニピュレーションロボティクス
OrbitGrasp: SE(3)同変な把持学習
点群入力からSE(3)把持姿勢を検出するため、球面調和基底で連続的な把持品質関数を学習するSE(3)同変モデルを提案し、シミュレーションと実機で性能を向上させた。
原題: OrbitGrasp: $SE(3)$-Equivariant Grasp Learning ／ Boce Hu, Xupeng Zhu, Dian Wang 他
日本語で読む → - 論文マニピュレーションロボティクス
DexGANGrasp: タスク指向操作のための巧みな生成的敵対的把握合成
単一視点からリアルタイムに巧みな把持を生成・評価するGANベースの手法を提案し、MLLM/VLMと組み合わせてタスク指向把持を実現した。
原題: DexGANGrasp: Dexterous Generative Adversarial Grasping Synthesis for Task-Oriented Manipulation ／ Qian Feng, David S. Martinez Lema, Mohammadhossein Malmir 他
日本語で読む → - 論文空中マニピュレーションロボティクス
空飛ぶ書道家：空中マニピュレーションのための接触を考慮した運動・力の計画と制御
空中ロボットが筆を用いて、接触力に応じて線の太さが変わる書道を行うため、接触を考慮した軌道計画と運動・力のハイブリッド制御を提案した。
原題: Flying Calligrapher: Contact-Aware Motion and Force Planning and Control for Aerial Manipulation ／ Xiaofeng Guo, Guanqi He, Jiahe Xu 他
日本語で読む → - 論文マニピュレーションロボティクス
人間と物体のインタラクションから粒度認識アフォーダンスを学習し、道具を用いた機能的巧みな把持を実現
人間の道具使用時の手と物体の接触領域から細粒度・粗粒度のアフォーダンス特徴を抽出し、巧みな手による機能的把持を可能にするフレームワークGAAF-Dexを提案。弱教師あり学習で一人称視点画像の特徴抽出を三人称視点画像から監督する。
原題: Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Dexterous Grasping ／ Fan Yang, Wenrui Chen, Kailun Yang 他
日本語で読む → - 論文マニピュレーションロボティクス
適応型ロボットアーム制御のための深層強化学習の最適化
7自由度ロボットアーム制御において、TPEによるハイパーパラメータ最適化がSACとPPOの性能を大幅に向上させることを示した研究。
原題: Optimizing Deep Reinforcement Learning for Adaptive Robotic Arm Control ／ Jonaid Shianifar, Michael Schukat, Karl Mason
日本語で読む → - 論文マニピュレーションロボティクス
模倣から洗練へ：精密組立のための残差強化学習
行動クローニング（BC）で教えたロボットの精密組立タスクにおける信頼性の飽和問題を解決するため、凍結したBCモデルに閉ループの残差ポリシーを強化学習で追加するResiPを提案。
原題: From Imitation to Refinement -- Residual RL for Precise Assembly ／ Lars Ankile, Anthony Simeonov, Idan Shenfeld 他
日本語で読む → - 論文マニピュレーションロボティクス
VoxAct-B: ボクセルベースの双腕操作のための行動・安定化ポリシー
視覚言語モデルで重要領域を特定しボクセルグリッドを再構成することで、双腕ロボットの行動と安定化を効率的に学習する手法を提案。
原題: VoxAct-B: Voxel-Based Acting and Stabilizing Policy for Bimanual Manipulation ／ I-Chun Arthur Liu, Sicheng He, Daniel Seita 他
日本語で読む → - 論文マニピュレーションロボティクス
屋外での家庭ごみ回収のための視覚・触覚マニピュレーション
RGBDカメラ・LiDAR・触覚センサを統合した移動マニピュレータで、屋外の家庭ごみを認識・把持・回収する知覚システムを提案し、98%の認識精度と91%の把持安定性を達成した。
原題: Visual-tactile manipulation to collect household waste in outdoor ／ Julio Castaño-Amorós, Ignacio de Loyola Páez-Ubieta, Pablo Gil 他
日本語で読む → - 論文マニピュレーションロボティクス
高忠実度形状を用いた接触リッチマニピュレーションのための軌道最適化と接触選択の同時実行
接触を考慮した軌道最適化において、反復過程で接触点と時刻を選択することで変数と制約を削減し、数万頂点の高忠実度形状でも計算可能にした。
原題: Simultaneous Trajectory Optimization and Contact Selection for Contact-rich Manipulation with High-Fidelity Geometry ／ Mengchao Zhang, Devesh K. Jha, Arvind U. Raghunathan 他
日本語で読む → - 論文マニピュレーションロボティクス
触覚のみで多様な物体を手内操作する形状条件付きエージェントの学習
指の関節トルクと位置のみを頼りに、物体の形状情報を活用した強化学習と状態推定器により、多様な物体を手内で回転させるエージェントを訓練し、実世界でも高い成功率と未知物体への汎化を実現した。
原題: Learning a Shape-Conditioned Agent for Purely Tactile In-Hand Manipulation of Various Objects ／ Johannes Pitz, Lennart Röstel, Leon Sievers 他
日本語で読む → - 論文マニピュレーションロボティクス
グリーンスクリーン拡張によるロボットマニピュレーションのシーン汎化
グリーンスクリーン上で収集した実演データにクロマキーで背景を合成するGreenAugを提案し、未知環境への汎化性能が従来の拡張手法を上回ることを実機実験で示した。
原題: Green Screen Augmentation Enables Scene Generalisation in Robotic Manipulation ／ Eugene Teoh, Sumit Patidar, Xiao Ma 他
日本語で読む →