論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/10/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文VLA自然言語
身体性会話AIのためのユーザーエージェントシミュレーション
大規模言語モデルを用いて、仮想環境内でロボットと対話するユーザーエージェントを構築し、TEAChデータセットと比較して人間らしい対話行動を生成できるか評価した。
原題: Simulating User Agents for Embodied Conversational-AI ／ Daniel Philipov, Vardhan Dongre, Gokhan Tur 他
日本語で読む → - 論文軌道予測ロボティクス
PMM-Net: パッチ埋め込みと明示的モーダル変調による単段階マルチエージェント軌道予測
歩行者などの複数エージェントの将来軌道を予測するため、パッチベースの時間特徴抽出とグラフベースの社会特徴抽出を組み合わせ、明示的モーダル変調で統合する単段階推論フレームワークを提案した論文。
原題: PMM-Net: Single-stage Multi-agent Trajectory Prediction with Patching-based Embedding and Explicit Modal Modulation ／ Huajian Liu, Wei Dong, Kunpeng Fan 他
日本語で読む → - 論文多脚ロボットロボティクス
細長い多脚ロボットのための効果的な自己復帰戦略
ムカデ型ロボットが転倒から起き上がる際の動作を生物観察とロボット実験で解析し、体の横・縦方向に重畳する2つの進行波で再現できることを示した。
原題: Effective self-righting strategies for elongate multi-legged robots ／ Erik Teder, Baxi Chong, Juntao He 他
日本語で読む → - 論文マニピュレーションロボティクス
検索ベースの重み付き局所適応によるタスク非依存の生涯ロボット学習
過去タスクのデータを一部保存し、経験再生と検索ベースの局所適応を組み合わせることで、タスクIDや境界が不明な環境でも破滅的忘却を抑えながら新しい操作タスクを継続学習する手法を提案した。
原題: Task-agnostic Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation ／ Pengzhi Yang, Xinyu Wang, Ruipeng Zhang 他
日本語で読む → - 論文マニピュレーションロボティクス
GAP-RL: 把持を点として表現する動的物体把持のための強化学習
6D把持姿勢をガウス点に変換するGrasp Encoderと把持可能領域探索を組み合わせ、動く物体を強化学習で把持するフレームワークを提案し、シミュレーションと実機で有効性を示した。
原題: GAP-RL: Grasps As Points for RL Towards Dynamic Object Grasping ／ Pengwei Xie, Siang Chen, Qianrun Chen 他
日本語で読む → - 論文触覚ロボティクス
FusionSense: 常識・視覚・触覚を融合したロバストな疎視点再構成
基盤モデルの事前知識と視覚・触覚の疎な観測を統合し、透明・反射・暗色物体でも高精度に3D再構成するフレームワークを提案。
原題: FusionSense: Bridging Common Sense, Vision, and Touch for Robust Sparse-View Reconstruction ／ Irving Fang, Kairui Shi, Xujin He 他
日本語で読む → - 論文VLAロボティクス
動画からの潜在行動事前学習
ロボットの行動ラベルなしでインターネット規模の動画からVLAモデルを事前学習する手法を提案し、実世界のマニピュレーションタスクで既存手法を上回る性能を示した。
原題: Latent Action Pretraining from Videos ／ Seonghyeon Ye, Joel Jang, Byeongguk Jeon 他
日本語で読む → - 論文適応制御ロボティクス
安定性保証付き全層DNN適応制御のための自己教師ありメタ学習
オフラインの軌道データから自己教師ありメタ学習でDNNを事前学習し、オンラインで全層を適応更新する安定性保証付き適応制御フレームワークを提案。ドローンの風外乱下での追従性能を大幅に改善。
原題: Self-Supervised Meta-Learning for All-Layer DNN-Based Adaptive Control with Stability Guarantees ／ Guanqi He, Yogita Choudhary, Guanya Shi
日本語で読む → - 論文群制御HCI
スウォームマニピュレーション：仮想現実における効率的で正確な複数物体操作技術
VR空間で群制御の考え方を用いて複数物体を操作する新手法を提案し、従来の仮想ハンドやレイキャスティングと比較して、選択・回転・サイズ変更タスクでの性能とユーザー体験を評価した。
原題: Swarm manipulation: An efficient and accurate technique for multi-object manipulation in virtual reality ／ Xiang Li, Jin-Du Wang, John J. Dudley 他
日本語で読む → - 論文視覚慣性オドメトリ画像認識
ESVO2: ステレオイベントカメラによる直接視覚慣性オドメトリ
イベントカメラとIMUを組み合わせ、直接法で高精度なステレオ視覚慣性オドメトリを実現した研究。
原題: ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras ／ Junkai Niu, Sheng Zhong, Xiuyuan Lu 他
日本語で読む → - 論文自己位置推定画像認識
CLIP-Clique: 視覚言語モデルで強化したグラフベース対応マッチングによる物体ベース大域的自己位置推定
物体ランドマーク地図上での大域的自己位置推定において、視覚言語モデルの埋め込みで対応マッチングを強化し、グラフ理論的に外れ値を除去する手法を提案した。
原題: CLIP-Clique: Graph-based Correspondence Matching Augmented by Vision Language Models for Object-based Global Localization ／ Shigemichi Matsuzaki, Kazuhito Tanaka, Kazuhiro Shintani
日本語で読む → - 論文ロボット知覚ロボティクス
認定可能なロボット知覚のためのBurer-Monteiro法の概要
ロボット知覚問題をリアルタイムで認定可能な最適性で解くBurer-Monteiro法について、文献を統合し、LICQの役割を明らかにし、実践的な考慮事項を共有する。
原題: An Overview of the Burer-Monteiro Method for Certifiable Robot Perception ／ Alan Papalia, Yulun Tian, David M. Rosen 他
日本語で読む → - 論文ステレオビジョンロボティクス
全方位カメラを用いたロボティクス向け生体模倣再構成可能ステレオビジョン
生物の適応的な視覚に着想を得て、全方位カメラと再構成可能なステレオ視戦略を組み合わせ、状況に応じて視野構成を切り替えられるロボット用視覚システムを開発した。
原題: Bio-inspired reconfigurable stereo vision for robotics using omnidirectional cameras ／ Suchang Chen, Dongliang Fan, Huijuan Feng 他
日本語で読む → - 論文オフライン強化学習機械学習
オフダイナミクス強化学習のためのリターン拡張Decision Transformer
データが豊富なソースドメインから、データが少ないターゲットドメインへの方策学習を改善するため、Decision Transformer系フレームワークにおいてリターン分布をターゲットに合わせて拡張するREAG手法を提案し、理論的保証とD4RLでの性能向上を示した。
原題: Return Augmented Decision Transformer for Off-Dynamics Reinforcement Learning ／ Ruhan Wang, Yu Yang, Zhishuai Liu 他
日本語で読む → - 論文手術ロボットロボティクス
部分層角膜移植の再構築：自律的なビッグバブル針挿入のための眼球装着型ロボット
OCTセンサと深層学習を統合した眼球装着型マイクロロボットにより、角膜深部への針挿入とビッグバブル形成を自律的に行うシステムを開発し、従来法より高精度なDALK手術を実現した。
原題: Reimagining partial thickness keratoplasty: An eye mountable robot for autonomous big bubble needle insertion ／ Y. Wang, J. D. Opfermann, J. Yu 他
日本語で読む → - 論文マニピュレーションロボティクス
ロボットいちご収穫のための単発6DoF姿勢・3Dサイズ推定
合成データで学習した深層学習モデルにより、いちごの6DoF姿勢と3Dサイズを単一ショットで推定し、実世界の収穫タスクへの有効性を示した。
原題: Single-Shot 6DoF Pose and 3D Size Estimation for Robotic Strawberry Harvesting ／ Lun Li, Hamidreza Kasaei
日本語で読む → - 論文模倣学習機械学習
M2Distill: 生涯模倣学習のためのマルチモーダル蒸留
視覚・言語・行動の潜在空間を一貫させ、GMM方策のずれを抑えるマルチモーダル蒸留により、破滅的忘却を防ぎつつ新タスクを継続学習する手法を提案。
原題: M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning ／ Kaushik Roy, Akila Dissanayake, Brendan Tidd 他
日本語で読む → - 論文マニピュレーションロボティクス
3D拡散ポリシーによる汎化可能なヒューマノイドマニピュレーション
上半身テレオペで収集した単一場面のデータと機載計算のみで、25自由度ヒューマノイドが多様な実環境で自律マニピュレーションを実現するシステムを構築した。
原題: Generalizable Humanoid Manipulation with 3D Diffusion Policies ／ Yanjie Ze, Zixuan Chen, Wenhao Wang 他
日本語で読む → - 論文ナビゲーションロボティクス
HE-Nav: 複雑環境における空中・地上ロボット向け高性能・高効率ナビゲーションシステム
軽量な意味シーン補完ネットワークとエネルギー効率の良いキノダイナミックA*探索を組み合わせ、密集環境で空中・地上ロボットのリアルタイム障害物予測と省エネ経路計画を実現した。
原題: HE-Nav: A High-Performance and Efficient Navigation System for Aerial-Ground Robots in Cluttered Environments ／ Junming Wang, Zekai Sun, Xiuxian Guan 他
日本語で読む → - 論文位置推定ロボティクス
BEVLoc: 鳥瞰図合成によるクロスビュー位置推定とマッチング
地上画像から鳥瞰図（BEV）を合成し、航空地図と照合することでGPSが使えないオフロード環境でも自己位置を推定する手法を提案。
原題: BEVLoc: Cross-View Localization and Matching via Birds-Eye-View Synthesis ／ Christopher Klammer, Michael Kaess
日本語で読む → - 論文ナビゲーションロボティクス
LeLaN: 実世界動画から言語条件付きナビゲーション方策を学習
大規模視覚言語モデルとロボット基盤モデルを活用し、ラベルなし・行動なしの一人称視点動画から言語で指示された物体ナビゲーション方策を学習する手法を提案。1000回以上の実世界実験で既存手法を上回り、エッジ計算で4倍高速に推論可能。
原題: LeLaN: Learning A Language-Conditioned Navigation Policy from In-the-Wild Videos ／ Noriaki Hirose, Catherine Glossop, Ajay Sridhar 他
日本語で読む → - 論文キャリブレーションロボティクス
DCNet: データ駆動型DVLキャリブレーション手法
2次元畳み込みカーネルを用いたデータ駆動型フレームワークDCNetにより、ほぼ一定速度の軌道でDVLを迅速にキャリブレーションし、精度と時間を大幅に改善する。
原題: DCNet: A Data-Driven Framework for DVL Calibration ／ Zeev Yampolsky, Itzik Klein
日本語で読む → - 論文マニピュレーションロボティクス
模倣学習によるソフト・リジッド融合ロボットの接触リッチタスクの実現
剛体マニピュレータとソフトアームを組み合わせたハイブリッドロボットを開発し、模倣学習によって接触を伴うタスクを柔軟かつ高精度に実行できることを示した。
原題: Mastering Contact-rich Tasks by Combining Soft and Rigid Robotics with Imitation Learning ／ Mariano Ramírez Montero, Ebrahim Shahabi, Giovanni Franzese 他
日本語で読む → - 論文自律ナビゲーションロボティクス
単光子LiDARによる遮蔽物越し撮像で自律ナビゲーションを強化
単光子LiDARのマルチバウンス光を使い、隠れた領域の占有マップをCNNで推定してロボットが安全に走行できるようにするNLOSナビゲーション手法を提案し、実機実験で実証した。
原題: Enhancing Autonomous Navigation by Imaging Hidden Objects using Single-Photon LiDAR ／ Aaron Young, Nevindu M. Batagoda, Harry Zhang 他
日本語で読む → - 論文強化学習機械学習
複数センサを用いた深層強化学習のためのマルチモーダル情報ボトルネック
自己中心画像と固有感覚からタスクに関連する統合表現を学習するマルチモーダル情報ボトルネックを提案し、サンプル効率とノイズに対するゼロショット頑健性を向上させた。
原題: Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors ／ Bang You, Huaping Liu
日本語で読む → - 論文ナビゲーションロボティクス
NavTopo: トポロジカルマップを活用した移動ロボットの自律ナビゲーション
トポロジカルマップと2段階経路計画に基づくナビゲーションパイプラインを提案し、ニューラルネットワーク記述子と点群の2D投影で位置推定を行うことで、従来のメトリックマップ手法より高性能かつ省メモリでナビゲーションできることを示した。
原題: NavTopo: Leveraging Topological Maps For Autonomous Navigation Of a Mobile Robot ／ Kirill Muravyev, Konstantin Yakovlev
日本語で読む → - 論文探索計画ロボティクス
不完全なセンサを用いた探索のための保証付き手法
移動ロボットの不完全なセンサと限られた時間予算のもとで、目標検出確率を最大化する探索経路を計算する高速アルゴリズムを提案し、性能保証と計算複雑性の結果を示した。
原題: Provable Methods for Searching with an Imperfect Sensor ／ Nilanjan Chakraborty, Prahlad Narasimhan Kasthurirangan, Joseph S. B. Mitchell 他
日本語で読む → - 論文ソフトロボティクスロボティクス
収縮コード粒子ジャミングによる自己展開型適応ソフトロボット
収縮コード粒子ジャミングを用いて、自ら展開し剛性を変化させられるソフトロボットを開発し、狭いトンネルや低い天井を移動できることを示した。
原題: Self-Deployable, Adaptive Soft Robots Based on Contracting-Cord Particle Jamming ／ Wenzhong Yan, Brian Ye, Mingxi Li 他
日本語で読む → - 論文知覚適応ロボティクス
iTeach: 実環境での失敗駆動型ロボット知覚適応のためのインタラクティブ教示
人間がロボットの知覚失敗を観察し、短い物体操作で失敗例を収集、視線と音声で最小限の注釈を付けてモデルを逐次微調整することで、実環境での知覚性能と把持成功率を向上させる枠組みを提案。
原題: iTeach: In the Wild Interactive Teaching for Failure-Driven Adaptation of Robot Perception ／ Jishnu Jaykumar P, Cole Salvato, Vinaya Bomnale 他
日本語で読む → - 論文マルチエージェント経路計画ロボティクス
階層型LA-MAPF：大規模エージェントMAPF問題の分解による解法高速化
形状を持つエージェントのMAPF問題をクラスタとレベルに分解し、解可能性を保ちつつ計算時間を半減させる手法を提案。
原題: Layered LA-MAPF: a decomposition of large agent MAPF instance to accelerate solving without compromising solvability ／ Zhuo Yao
日本語で読む →