論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/11/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文sim2realロボティクス
DiffSim2Real: 微分可能シミュレータのみで訓練した四足歩行ポリシーの実機展開
微分可能シミュレータで解析的勾配を用いて訓練した四足歩行ポリシーを、滑らかな接触モデルにより実世界に転移させることに成功した。
原題: DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation ／ Joshua Bagajo, Clemens Schwarke, Victor Klemm 他
日本語で読む → - 論文sim2realロボティクス
NeRF-Aug: ニューラル放射輝度場によるロボティクス向けデータ拡張
NeRFを用いて学習データにない物体のフォトリアルな画像を生成し、ロボット政策の汎化性能を55.6%向上させたデータ拡張手法。
原題: NeRF-Aug: Data Augmentation for Robotics with Neural Radiance Fields ／ Eric Zhu, Mara Levy, Matthew Gwilliam 他
日本語で読む → - 論文sim2realロボティクス
インスタンス性能差：カメラシミュレーションにおけるsim-to-realギャップを測る指標
実画像と合成画像で同じ物体インスタンスをペアにし、認識性能の差を測るIPD指標を提案し、月面岩石検出タスクで最もリアルな画像合成手法を特定できることを示した。
原題: Instance Performance Difference: A Metric to Measure the Sim-To-Real Gap in Camera Simulation ／ Bo-Hsun Chen, Dan Negrut
日本語で読む → - 論文sim2realロボティクス
D4W: 車輪ロボットのための信頼性の高いデータ駆動型ダイナミクス
実世界のセンサデータから車輪ロボットの正確なダイナミクスモデルを学習し、シミュレーション精度を高めるフレームワークを提案。
原題: D4W: Dependable Data-Driven Dynamics for Wheeled Robots ／ Yunfeng Lin, Minghuan Liu, Yong Yu
日本語で読む → - 論文sim2real画像認識
ReconDreamer: オンライン修復による走行シーン再構成のための世界モデル構築
世界モデルの知識を段階的に統合し、オンライン修復でアーティファクトを抑えることで、車線変更などの大規模な操作を含む走行シーンを高品質に再構成する手法を提案。
原題: ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration ／ Chaojun Ni, Guosheng Zhao, Xiaofeng Wang 他
日本語で読む → - 論文sim2realロボティクス
テキストから画像への拡散モデルによる合成データのテクスチャ生成評価
ロボットマニピュレーション用の合成データ生成において、拡散モデルによるテクスチャ生成とランダムテクスチャを比較し、性能が同等であることを示した。
原題: Evaluating Text-to-Image Diffusion Models for Texturing Synthetic Data ／ Thomas Lips, Francis wyffels
日本語で読む → - 論文sim2realロボティクス
グリッド環境におけるセンサ非依存ロボットナビゲーションのためのオープンソースSim2Realアプローチ
Frozen Lakeシミュレーションで学習した強化学習エージェントを、高価な位置推定センサなしで実機の四足歩行ロボットに転移し、グリッド環境での自律ナビゲーションを実現するオープンソースのSim2Real手法を提案した。
原題: An Open-source Sim2Real Approach for Sensor-independent Robot Navigation in a Grid ／ Murad Mehrab Abrar, Souryadeep Mondal, Michelle Hickner
日本語で読む → - 論文sim2realロボティクス
ソフトボディ足を持つ個人化3Dヒューマンデジタルツインによる歩行シミュレーション
実被験者のモーションキャプチャから個人化した軟体足を骨格モデルに統合し、歩行制御方策を学習させることで、実測に近い床反力と関節角度を再現できることを示した。
原題: Personalised 3D Human Digital Twin with Soft-Body Feet for Walking Simulation ／ Kum Yew Loke, Sherwin Stephen Chan, Mingyuan Lei 他
日本語で読む → - 論文sim2realロボティクス
視覚ベースロボットシステム訓練のための効率的な合成画像データパイプラインに向けて
視覚ベースのロボットシステムを訓練するための合成画像データパイプラインの枠組みを提案し、その構成要素として有望な手法を文献調査から整理した。
原題: Towards an Efficient Synthetic Image Data Pipeline for Training Vision-Based Robot Systems ／ Peter Gavriel, Adam Norton, Kenneth Kimble 他
日本語で読む → - 論文sim2real画像認識
AquaFuse: 水中シーンの物理誘導ビュー合成のための水体融合
水中画像の水体的特性を物理モデルに基づいて別シーンに融合させ、奥行き一貫性と物体形状を保ったままデータ拡張や3Dビュー合成を可能にする手法を提案。
原題: AquaFuse: Waterbody Fusion for Physics Guided View Synthesis of Underwater Scenes ／ Md Abu Bakr Siddique, Jiayi Wu, Ioannis Rekleitis 他
日本語で読む → - 論文sim2realロボティクス
ニューラル内部モデル制御：予測誤差フィードバックによるロバスト制御方策の学習
剛体力学のニューラル内部モデルと予測誤差フィードバックを強化学習に統合し、外乱に強い閉ループ制御を実現。ドローンや四足歩行ロボットで高性能を示し、実機移行も成功。
原題: Neural Internal Model Control: Learning a Robust Control Policy via Predictive Error Feedback ／ Feng Gao, Chao Yu, Yu Wang 他
日本語で読む → - 論文sim2real機械学習
ドメイン適応と報酬拡張模倣による動力学シフト下の強化学習
動力学が異なる環境間で方策を転移するため、報酬修正によるドメイン適応と模倣学習を組み合わせたDARAILを提案し、ベンチマークで性能向上を示した。
原題: Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation ／ Yihong Guo, Yixuan Wang, Yuanyuan Shi 他
日本語で読む → - 論文sim2realロボティクス
データ駆動型予測制御による参照ステアリング：超精密な跳躍・飛行ロコモーション
モデルベース制御にデータ駆動入出力モデルを重ね、参照軌道をオンライン補正することでロボットPogoXの跳躍・飛行を高精度化した研究。
原題: Reference-Steering via Data-Driven Predictive Control for Hyper-Accurate Robotic Flying-Hopping Locomotion ／ Yicheng Zeng, Yuhao Huang, Xiaobin Xiong
日本語で読む → - 論文sim2realロボティクス
Eurekaverse：大規模言語モデルによる環境カリキュラム生成
大規模言語モデルを用いて、四足ロボットのパルクール学習のための難易度が漸進的に上がる環境を自動生成する手法を提案し、実世界への転移に成功した。
原題: Eurekaverse: Environment Curriculum Generation via Large Language Models ／ William Liang, Sam Wang, Hung-Ju Wang 他
日本語で読む → - 論文視触覚/挿入/Sim2Realロボティクス
視触覚学習による柔軟ハンドでの挿入作業
柔軟なアンダーアクチュエートハンドでの挿入作業に向け、視覚と触覚を組み合わせたマルチモーダル方策をシミュレーションで学習し、実機に転移させた研究。
原題: Visuotactile-Based Learning for Insertion with Compliant Hands ／ Osher Azulay, Dhruv Metha Ramesh, Nimrod Curtis 他
日本語で読む → - 論文sim2realロボティクス
ロバストな方策学習のためのデジタルいとこの自動生成
実世界のシーンを模した「デジタルいとこ」を自動生成し、シミュレーションから実世界へのゼロショット転移で高い成功率を達成する手法を提案。
原題: Automated Creation of Digital Cousins for Robust Policy Learning ／ Tianyuan Dai, Josiah Wong, Yunfan Jiang 他
日本語で読む → - 論文sim2realロボティクス
入力の力：クアッドロータ制御のための強化学習制御方策のゼロショットSim-to-Real転移のベンチマーク
クアッドロータ制御の強化学習において、観測空間の入力構成が学習と実機転移に与える影響を体系的に比較し、ゼロショットでのsim-to-real転移性能を評価した。
原題: The Power of Input: Benchmarking Zero-Shot Sim-To-Real Transfer of Reinforcement Learning Control Policies for Quadrotor Control ／ Alberto Dionigi, Gabriele Costante, Giuseppe Loianno
日本語で読む → - 論文sim2realロボティクス
局所ポリシーによるゼロショット長期的マニピュレーション
ロボットの絶対姿勢や物体配置に依存しない「局所ポリシー」を基盤モデルと組み合わせ、シミュレーションから実機へのゼロショット転移で最大8段階の長期タスクを実現した。
原題: Local Policies Enable Zero-shot Long-horizon Manipulation ／ Murtaza Dalal, Min Liu, Walter Talbott 他
日本語で読む → - 論文sim2realロボティクス
月面作業向け物理ベースセンサシミュレーション環境
月面環境でのカメラ画像を物理ベースレンダリングで生成するシミュレータを開発し、VIPERローバーとRASSOR掘削機の仮想実験で性能を検証した。
原題: A physics-based sensor simulation environment for lunar ground operations ／ Nevindu M. Batagoda, Bo-Hsun Chen, Harry Zhang 他
日本語で読む → - 論文強化学習/水中ロボット/sim2realロボティクス
泳ぎを学ぶ：スラスタ駆動型自律水中ロボットの6自由度制御のための強化学習
強化学習によりスラスタ駆動型AUVの6自由度制御を実現し、シミュレータから実機へのゼロショット転移を達成した研究。
原題: Learning to Swim: Reinforcement Learning for 6-DOF Control of Thruster-driven Autonomous Underwater Vehicles ／ Levi Cai, Kevin Chang, Yogesh Girdhar
日本語で読む → - 論文sim2realロボティクス
微分可能シミュレーションによる視覚特徴からのクアッドロータ制御学習
微分可能シミュレーションを用いてクアッドロータの制御方策を学習し、視覚特徴のみからでもモデルフリー強化学習より高効率・短時間で訓練できることを示した。
原題: Learning Quadrotor Control From Visual Features Using Differentiable Simulation ／ Johannes Heeg, Yunlong Song, Davide Scaramuzza
日本語で読む → - 論文sim2realロボティクス
グラフベース神経力学モデリングのための動的3Dガウシアントラッキング
多視点RGB動画から3Dガウシアン表現とグラフニューラルネットワークを用いて物体の力学モデルを学習し、ロボット動作に条件付けられた将来予測や操作計画を可能にするフレームワークを提案。
原題: Dynamic 3D Gaussian Tracking for Graph-Based Neural Dynamics Modeling ／ Mingtong Zhang, Kaifeng Zhang, Yunzhu Li
日本語で読む → - 論文sim2realロボティクス
グラフニューラルネットワークによるテンセグリティロボットの微分可能ダイナミクス学習
テンセグリティロボットの接触ダイナミクスをグラフニューラルネットワークでモデル化し、MuJoCoを真値とするシミュレーションおよび実機で高精度かつ効率的に学習できることを示した。
原題: Learning Differentiable Tensegrity Dynamics using Graph Neural Networks ／ Nelson Chen, Kun Wang, William R. Johnson 他
日本語で読む → - 論文sim2realロボティクス
GARField: メッシュ付随放射輝度場による衣類操作の視覚的Sim-to-Realギャップの解消
シミュレーション上の三角形メッシュ状態から実世界に近い観測画像を生成する微分可能レンダリング手法を提案し、衣類操作におけるSim-to-Realギャップの低減を目指した研究。
原題: GARField: Addressing the visual Sim-to-Real gap in garment manipulation with mesh-attached radiance fields ／ Donatien Delehelle, Darwin G. Caldwell, Fei Chen
日本語で読む → - 論文sim2realロボティクス
到達可能性解析による視覚ベース制御器の安全性とロバスト性の向上
視覚ベース制御器の故障モードをニューラル到達可能チューブで探索し、オンライン監視とオフライン再訓練でシステム安全性を高める手法を提案。航空機の地上走行タスクで検証した。
原題: Enhancing Safety and Robustness of Vision-Based Controllers via Reachability Analysis ／ Kaustav Chakraborty, Aryaman Gupta, Somil Bansal
日本語で読む → - 論文sim2realロボティクス
FIRE-3DV: Vulkanを用いたフレームワーク非依存の3Dグラフィックスレンダリングエンジン
ロボティクスシミュレータ向けに、最新のVulkan APIを採用した軽量・高性能なレンダリングエンジンを開発し、AMBFの旧式パイプラインを刷新してPBRやレイトレース影などの高精細描画を実現した。
原題: FIRE-3DV: Framework-Independent Rendering Engine for 3D Graphics using Vulkan ／ Christopher John Allison, Haoying Zhou, Adnan Munawar 他
日本語で読む → - 論文sim2realロボティクス
ManiSkill3: 汎化可能な身体性AIのためのGPU並列ロボティクスシミュレーションとレンダリング
接触の多い操作タスク向けに、シミュレーションとレンダリングをGPUで並列化した高速ロボティクスシミュレータManiSkill3を開発し、12分野の多様なタスクとデモデータ、ベースラインを提供した。
原題: ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI ／ Stone Tao, Fanbo Xiang, Arth Shukla 他
日本語で読む → - 論文アクチュエータ/sim2realロボティクス
脚式ロボット向けサイクロイド準直接駆動アクチュエータの設計と学習ベースのトルク推定
サイクロイドギアを準直接駆動に組み込み、高トルク・軽量な脚式ロボット用アクチュエータを設計し、ニューラルネットによるトルク推定でsim-to-realギャップを低減した。
原題: Cycloidal Quasi-Direct Drive Actuator Designs with Learning-based Torque Estimation for Legged Robotics ／ Alvin Zhu, Yusuke Tanaka, Fadi Rafeedi 他
日本語で読む → - 論文sim2real画像認識
Synthetica: ロボット知覚のための大規模合成データ
フォトリアルなレイトレーシングで270万枚の合成画像を生成し、ロボットの物体検出を高精度・リアルタイム（50-100Hz）で行う手法を提案。
原題: Synthetica: Large Scale Synthetic Data for Robot Perception ／ Ritvik Singh, Jingzhou Liu, Karl Van Wyk 他
日本語で読む → - 論文sim2realロボティクス
iFANnpp: ロボットと自律知能のための原子力発電所デジタルツイン
原子力発電所全体をUnreal Engine 5でモデル化し、高忠実度の加圧水型原子炉シミュレータと統合したデジタルツインを構築。ロボットアルゴリズムの研究開発を支援する。
原題: iFANnpp: Nuclear Power Plant Digital Twin for Robots and Autonomous Intelligence ／ Youndo Do, Marc Zebrowitz, Jackson Stahl 他
日本語で読む →