論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/2/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文sim2realロボティクス
学習した残差物理によるソフトロボットのSim-to-Real
シミュレーションと実機の誤差をニューラルネットで学習する残差物理手法を提案し、高自由度のソフトロボットにおいて従来のシステム同定を最大60%上回る精度を実現した。
原題: Sim-to-Real of Soft Robots with Learned Residual Physics ／ Junpeng Gao, Mike Yan Michelis, Andrew Spielberg 他
日本語で読む → - 論文sim2realロボティクス
CyberDemo: シミュレーション上の人間デモンストレーションを拡張する実世界巧みな操作
シミュレーション内で人間のデモンストレーションを大規模にデータ拡張し、実世界の巧みな操作タスクへ転移する模倣学習手法を提案。未見の物体にも汎化し、実世界のデモより高い成功率を示した。
原題: CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation ／ Jun Wang, Yuzhe Qin, Kaiming Kuang 他
日本語で読む → - 論文sim2realロボティクス
Mirage: クロスペインティングによる異なるロボット間のゼロショット方策転移
実行時に目標ロボットをマスクして学習済みロボットを描き直す「クロスペインティング」により、異なるロボットアームやグリッパ間で視覚ベースの方策をゼロショット転移させる手法を提案。
原題: Mirage: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting ／ Lawrence Yunliang Chen, Kush Hari, Karthik Dharmarajan 他
日本語で読む → - 論文sim2realロボティクス
自動運転向けデジタルツインによるReal2Sim2RealなAutoware展開
自動運転スタックAutowareの開発・展開を支援するため、車両のデジタルツインを構築し、実世界からシミュレーション、そして実世界へ戻す統合ツールチェーンを実現した。
原題: Autonomy Oriented Digital Twins for Real2Sim2Real Autoware Deployment ／ Chinmay Vilas Samak, Tanmay Vilas Samak
日本語で読む → - 論文sim2realロボティクス
身体性エージェントのためのクロスドメイン方策転移に関する包括的サーベイ
シミュレーションや実験室など異なるドメイン間でロボットの方策を転移する手法を体系的に整理し、ドメインギャップの分類や主要手法、今後の課題をまとめたサーベイ論文。
原題: A Comprehensive Survey of Cross-Domain Policy Transfer for Embodied Agents ／ Haoyi Niu, Jianming Hu, Guyue Zhou 他
日本語で読む → - 論文sim2realロボティクス
CoFRIDA：人間とロボットの共同描画のための自己教師ありファインチューニング
人間が描いたキャンバスにロボットが続きを描く共同描画フレームワークCoFRIDAを提案し、ロボットの制約を自己教師あり学習でテキスト画像モデルに組み込むことで、より正確な協調描画を実現した。
原題: CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting ／ Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu 他
日本語で読む → - 論文sim2realロボティクス
データ駆動型手法によるDVLキャリブレーション
AUVのドップラー速度計(DVL)のキャリブレーションを深層学習でエンドツーエンドに行い、従来のモデルベース手法より精度35%向上・時間80%短縮を達成した。
原題: DVL Calibration using Data-driven Methods ／ Zeev Yampolsky, Itzik Klein
日本語で読む → - 論文sim2real画像認識
氷衛星表面シミュレーションとステレオ深度推定によるサンプリング自律化
氷衛星の着陸機サンプリング自律化に向け、多様なステレオデータセットを生成するGUISSフレームワークを提案し、従来手法と深層学習によるステレオマッチングの深度推定性能を評価した。
原題: Icy Moon Surface Simulation and Stereo Depth Estimation for Sampling Autonomy ／ Ramchander Bhaskara, Georgios Georgakis, Jeremy Nash 他
日本語で読む → - 論文sim2realロボティクス
ピクセルから標高へ：自律オフロード走行のための画像を用いた長距離標高マップ予測学習
車載の単眼画像のみから長距離の地形標高マップをリアルタイム予測する学習手法を提案し、オフロード走行データで有効性を示した。
原題: Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation ／ Chanyoung Chung, Georgios Georgakis, Patrick Spieler 他
日本語で読む → - 論文sim2realロボティクス
スケールロボット車両のモデリング・位置推定と深層強化学習による経路追従制御：設計と実験検証
スケールロボット車両に対し、車両モデル同定とフェデレーテッド拡張カルマンフィルタによる位置推定、および専門家デモンストレータを用いた深層強化学習による経路追従制御を提案し、実験で有効性を検証した。
原題: Modelling, Positioning, and Deep Reinforcement Learning Path Tracking Control of Scaled Robotic Vehicles: Design and Experimental Validation ／ Carmine Caponio, Pietro Stano, Raffaele Carli 他
日本語で読む → - 論文sim2realロボティクス
Nigel：過剰駆動型自律車両のメカトロ設計とロバストSim2Real制御
独立全輪駆動・操舵を備えた過剰駆動型スケール自律車両Nigelを開発し、マルチモデル・マルチ目的ロバスト最適制御によるSim2Real転移フレームワークを実機検証した。
原題: Nigel -- Mechatronic Design and Robust Sim2Real Control of an Over-Actuated Autonomous Vehicle ／ Chinmay Vilas Samak, Tanmay Vilas Samak, Javad Mohammadpour Velni 他
日本語で読む → - 論文sim2real機械学習
実世界シーンへの顔インタラクショングラフネットワークのスケーリング
グラフネットワークベースの学習型シミュレータを実世界シーンに適用するため、メモリ効率を大幅に改善し、編集可能なNeRFによる知覚インターフェースを導入した。
原題: Scaling Face Interaction Graph Networks to Real World Scenes ／ Tatiana Lopez-Guevara, Yulia Rubanova, William F. Whitney 他
日本語で読む → - 論文sim2realロボティクス
Cesium Tilesを用いた高リアリズムシミュレーションと仮想・実環境におけるSLAM結果の比較
AirSim・Unreal Engine・Cesiumプラグインで実環境のデジタルツインを構築し、実飛行とシミュレーション飛行のDSOマッピング結果を比較して、仮想環境が実環境のアルゴリズム結果を高精度に予測できることを示した。
原題: Cesium Tiles for High-realism Simulation and Comparing SLAM Results in Corresponding Virtual and Real-world Environments ／ Chris Beam, Jincheng Zhang, Nicholas Kakavitsas 他
日本語で読む → - 論文sim2realロボティクス
シミュレーションから実機への深層学習による自律ナノドローン競技フレームワーク
約10cmのナノドローンで自律飛行レースに参加するため、シミュレーション画像のみで学習したオンボード深層学習による視覚ナビゲーションを開発し、国際大会で優勝した。
原題: A Sim-to-Real Deep Learning-based Framework for Autonomous Nano-drone Racing ／ Lorenzo Lamberti, Elia Cereda, Gabriele Abbate 他
日本語で読む → - 論文sim2realロボティクス
Deep Dynamics：物理制約付きニューラルネットワークによる自動運転レース車両の車両ダイナミクスモデリング
物理係数推定と運動方程式を組み合わせた物理制約付きニューラルネットワークで、高速域の車両状態を高精度に予測する手法を提案し、実車データで有効性を示した。
原題: Deep Dynamics: Vehicle Dynamics Modeling with a Physics-Constrained Neural Network for Autonomous Racing ／ John Chrosniak, Jingyun Ning, Madhur Behl
日本語で読む → - 論文sim2realロボティクス
データ拡張とモデルベース強化学習による実世界迷路ゲームの高効率学習
カメラ画像から低次元観測と迷路の位置周辺の切り出し画像を抽出し、実機上でのモデルベース強化学習と対称性を利用したデータ拡張により、5時間の実世界訓練データだけで実物の迷路ゲームを解く制御方策を学習した。
原題: Sample-Efficient Learning to Solve a Real-World Labyrinth Game Using Data-Augmented Model-Based Reinforcement Learning ／ Thomas Bi, Raffaello D'Andrea
日本語で読む → - 論文sim2realロボティクス
SoftMAC: 予測ベース接触モデルと関節剛体・布との双方向連成を備えた微分可能ソフトボディシミュレーション
MPMによるソフトボディを関節剛体や布と双方向に連成させ、予測ベースの接触モデルで貫入を抑える微分可能シミュレータSoftMACを提案し、ロボットマニピュレーションで有効性を検証した。
原題: SoftMAC: Differentiable Soft Body Simulation with Forecast-based Contact Model and Two-way Coupling with Articulated Rigid Bodies and Clothes ／ Min Liu, Gang Yang, Siyuan Luo 他
日本語で読む → - 論文sim2realロボティクス
人間とロボットの合成データでスマート工具を訓練する
ロボットが生成した合成データを活用して人間用スマート工具のタスク認識モデルを訓練し、個別タスクや作業者への微調整で精度と拡張性を高める手法を提案した。
原題: Using human and robot synthetic data for training smart hand tools ／ Jose Bendana, Sundar Sripada V. S., Carlos D. Salazar 他
日本語で読む → - 論文sim2realロボティクス
PolyFit: 未知の多角形形状に対応するSim-to-Real適応型ペグ挿入組立フレームワーク
力/トルクデータを用いた教師あり学習により、シミュレーションで訓練したペグ挿入組立モデルを実世界の未知形状に適応させる手法を提案し、高い成功率を達成した。
原題: PolyFit: A Peg-in-hole Assembly Framework for Unseen Polygon Shapes via Sim-to-real Adaptation ／ Geonhyup Lee, Joosoon Lee, Sangjun Noh 他
日本語で読む → - 論文sim2real画像認識
Holodeck: 言語ガイドによる3D身体性AI環境の生成
GPT-4と大規模3Dアセットを用いて、テキストプロンプトから多様な3Dシミュレーション環境を自動生成するシステムを提案。
原題: Holodeck: Language Guided Generation of 3D Embodied AI Environments ／ Yue Yang, Fan-Yun Sun, Luca Weihs 他
日本語で読む → - 論文sim2realロボティクス
ロボットマニピュレーション学習とsim-to-real転移における行動空間の役割
ロボット操作学習とsim-to-real転移において、13種類の行動空間で250以上の強化学習エージェントを訓練し、性能と転移特性を評価して行動空間設計の指針を示した。
原題: On the Role of the Action Space in Robot Manipulation Learning and Sim-to-Real Transfer ／ Elie Aljalbout, Felix Frank, Maximilian Karl 他
日本語で読む → - 論文sim2realロボティクス
振り子システムの制御：シミュレーションから実機へ
振り子システムの近似モデルを構築し、LQR制御器を設計してシミュレーションと実機で外乱応答を比較し、シミュレーションによる制御アルゴリズム検証の有効性を示した。
原題: Control of a pendulum system: From simulation to reality ／ Iyer Venkataraman Natarajan
日本語で読む → - 論文sim2realロボティクス
検証可能で合成的な強化学習のためのマルチフィデリティsim-to-realパイプライン
複雑なロボットタスクをサブタスクに分解し、マルチフィデリティシミュレーションで検証しながら強化学習ポリシーを訓練・実機展開するフレームワークを提案し、Warthog無人地上ロボットの走行制御で実証した。
原題: A Multifidelity Sim-to-Real Pipeline for Verifiable and Compositional Reinforcement Learning ／ Cyrus Neary, Christian Ellis, Aryaman Singh Samyal 他
日本語で読む → - 論文sim2realロボティクス
CARLAシミュレータにおけるLiDAR向けの現実的な雨天気象シミュレーション
CARLAシミュレータ上で雨天時のLiDARデータを物理モデルに基づいて生成し、車輪の水しぶきも再現することで、悪天候下の物体検出性能を向上させるデータ拡張手法を提案した。
原題: Realistic Rainy Weather Simulation for LiDARs in CARLA Simulator ／ Donglin Yang, Zhenfeng Liu, Wentao Jiang 他
日本語で読む → - 論文sim2realロボティクス
ロボットシステムの動力学調和解析：データ駆動型Koopmanモデリングへの応用
対称性を持つロボットの状態空間を調和解析で分解し、Koopman理論に基づく同変深層学習で効率的に線形動力学モデルを学習する手法を提案した。
原題: Dynamics Harmonic Analysis of Robotic Systems: Application in Data-Driven Koopman Modelling ／ Daniel Ordoñez-Apraez, Vladimir Kostic, Giulio Turrisi 他
日本語で読む → - 論文sim2real画像認識
Paved2Paradise: 実世界を分解して低コストかつスケーラブルにLiDARデータを合成
背景と物体を別々に収集して組み合わせることで、人手アノテーションを最小限に抑えつつ多様でラベル付きのLiDARデータセットを生成する手法を提案し、果樹園での人物検出と都市部での歩行者検出で有効性を示した。
原題: Paved2Paradise: Cost-Effective and Scalable LiDAR Simulation by Factoring the Real World ／ Michael A. Alcorn, Noah Schwartz
日本語で読む → - 論文sim2real機械学習
車両軌道制御のためのデータ効率的な深層強化学習
自動運転の車両軌道制御にデータ効率的な深層強化学習手法（REDQ、PETS-MPPI、MBPO）を適用し、動力学予測と自己位置推定を分離する新定式化を提案。CARLAでSACと同等以上の性能を1桁以上少ない環境相互作用で達成。
原題: Data-efficient Deep Reinforcement Learning for Vehicle Trajectory Control ／ Bernd Frauenknecht, Tobias Ehlgen, Sebastian Trimpe
日本語で読む → - 論文sim2realロボティクス
TWIST: 教師-生徒ワールドモデル蒸留による効率的なSim-to-Real転移
シミュレータの状態情報で教師ワールドモデルを学習し、画像入力の生徒モデルへ蒸留することで、視覚ベースのモデルベースRLを効率的に実機へ転移する手法を提案。
原題: TWIST: Teacher-Student World Model Distillation for Efficient Sim-to-Real Transfer ／ Jun Yamada, Marc Rigter, Jack Collins 他
日本語で読む → - 論文sim2realロボティクス
家庭内での人間の日常活動をリアルにシミュレーションするフレームワーク
家庭環境における人間の日常活動パターンを大規模にシミュレーションするフレームワークを提案し、スケジュールの変動生成や複数の間取りでのテストを可能にした。
原題: A Framework for Realistic Simulation of Daily Human Activity ／ Ifrah Idrees, Siddharth Singh, Kerui Xu 他
日本語で読む → - 論文sim2realロボティクス
DisMech: 離散微分幾何に基づくソフトロボット・構造物の物理シミュレータ
離散微分幾何に基づく物理ソルバと接触処理を組み合わせ、ロッド状ソフト連続体ロボットの動的運動を高速・高精度にシミュレートする環境DisMechを提案し、実機との高い一致と従来比10倍の速度向上を示した。
原題: DisMech: A Discrete Differential Geometry-based Physical Simulator for Soft Robots and Structures ／ Andrew Choi, Ran Jing, Andrew Sabelhaus 他
日本語で読む →