論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2024/3/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文sim2realロボティクス
BEHAVIOR-1K：1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマーク
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
原題: BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation ／ Chengshu Li, Ruohan Zhang, Josiah Wong 他
日本語で読む → - 論文sim2realロボティクス
Webotsを用いた無人コンテナ型（深層）強化学習のためのアーキテクチャ
シミュレーション環境とモデル開発環境をコンテナ技術で分離し、データ科学者がシミュレータの知識なしにWebots上のロボット強化学習を無人で実行できるアーキテクチャを提案した。
原題: An Architecture for Unattended Containerized (Deep) Reinforcement Learning with Webots ／ Tobias Haubold, Petra Linke
日本語で読む → - 論文sim2realロボティクス
剛体と摩擦接触するMaterial Point Methodの凸定式化
Material Point Method (MPM) と多関節剛体ダイナミクスを摩擦接触下で統合する凸最適化手法を提案し、大変形やトポロジー変化を伴うロボットマニピュレーションの接触安定性を向上させた。
原題: A Convex Formulation of Frictional Contact for the Material Point Method and Rigid Bodies ／ Zeshun Zong, Chenfanfu Jiang, Xuchen Han
日本語で読む → - 論文sim2realロボティクス
DriveEnv-NeRF: NeRFベースの自動運転環境による実世界性能検証
NeRFを用いて対象実世界シーンの高忠実度シミュレーション環境を構築し、自動運転エージェントの性能予測と訓練の堅牢化を実現するフレームワークを提案した。
原題: DriveEnv-NeRF: Exploration of A NeRF-Based Autonomous Driving Environment for Real-World Performance Validation ／ Mu-Yi Shen, Chia-Chi Hsu, Hao-Yu Hou 他
日本語で読む → - 論文sim2realロボティクス
グローバルからローカルへのRGB-D適応によるSim-to-Real把持検出
RGB-D把持検出のsim-to-real問題をドメイン適応として捉え、自己教師あり回転事前学習とグローバル・ローカルな特徴アラインメント、把持プロトタイプ適応によりシミュレーションから実環境への転移性能を向上させた研究。
原題: Sim-to-Real Grasp Detection with Global-to-Local RGB-D Adaptation ／ Haoxiang Ma, Ran Qin, Modi shi 他
日本語で読む → - 論文sim2realロボティクス
自律移動ロボットの経路追従制御ポリシー合成におけるシミュレーション活用の検討
シミュレータ上で経路追従制御ポリシー（PID・MPC・模倣学習によるNN2種）を生成し、実機実験と比較してシミュレーションの有効性を検証した。
原題: A Study on the Use of Simulation in Synthesizing Path-Following Control Policies for Autonomous Ground Robots ／ Harry Zhang, Stefan Caldararu, Aaron Young 他
日本語で読む → - 論文sim2realロボティクス
RLにおけるSim-to-Realギャップ：TIAGoとIsaac Sim/Gymを用いた事例
TIAGo移動マニピュレータとNvidiaのIsaac Gym/Isaac Simを使い、強化学習によるマニピュレーションのsim-to-real転移を検証し、衝突回避動作の実機転移に成功した。
原題: Sim-to-Real gap in RL: Use Case with TIAGo and Isaac Sim/Gym ／ Jaume Albardaner, Alberto San Miguel, Néstor García 他
日本語で読む → - 論文sim2real画像認識
NeRFは自動運転に使えるか？実世界とシミュレーションのギャップを埋める
NeRFで生成したシミュレーションデータに対する物体検出やマッピングモデルの頑健性を、ファインチューニング戦略の工夫で改善し、実世界性能も向上しうることを大規模に検証した。
原題: Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap ／ Carl Lindström, Georg Hess, Adam Lilja 他
日本語で読む → - 論文sim2realロボティクス
継続的ドメインランダム化
強化学習のsim2real転移において、ドメインランダム化を継続学習と組み合わせ、ランダム化パラメータを一度に一つずつ順次訓練することで、より柔軟で高性能な方策を実現する手法を提案。
原題: Continual Domain Randomization ／ Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir 他
日本語で読む → - 論文sim2real画像認識
ARSim: マルチビュー一貫性を備えた拡張現実ベースの自動運転知覚向け合成データ生成
実車のマルチカメラ映像に3D合成物体を自動で合成し、ドメイン適応とランダム化でリアルとシミュレーションのギャップを埋めることで、自動運転の知覚ネットワーク学習用データを拡張するフレームワークを提案した。
原題: Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks ／ Aqeel Anwar, Tae Eun Choe, Zian Wang 他
日本語で読む → - 論文sim2realロボティクス
混合現実デジタルツイン：マルチエージェント強化学習ポリシーのハイブリッドSim2Real移行のための物理・仮想世界の活用
混合現実デジタルツインを用いて、マルチエージェント強化学習の訓練を並列化で高速化し、シミュレーションから実世界へのゼロショット移行を実現するフレームワークを提案。
原題: Mixed-Reality Digital Twins: Leveraging the Physical and Virtual Worlds for Hybrid Sim2Real Transition of Multi-Agent Reinforcement Learning Policies ／ Chinmay Vilas Samak, Tanmay Vilas Samak, Venkat Narayan Krovi
日本語で読む → - 論文sim2realロボティクス
効果サイクル一貫性による異なる状態・行動空間間のポリシー転移
未ペアデータを用いて異なる状態・行動空間を持つロボット間でポリシーを転移するため、遷移効果を整合させる効果サイクル一貫性を提案し、移動・操作タスクで有効性を示した。
原題: Cross Domain Policy Transfer with Effect Cycle-Consistency ／ Ruiqi Zhu, Tianhong Dai, Oya Celiktutan
日本語で読む → - 論文sim2realロボティクス
両手でキャップをひねり開ける：双腕多指ハンドのsim-to-real強化学習
シミュレーションで深層強化学習を用いて訓練した双腕多指ハンドの制御方策を、物理モデリング・実時間知覚・報酬設計の工夫により実世界へ効率的に転移し、多様な未見のボトルキャップを両手でひねり開ける動的で器用な動作を実現した。
原題: Twisting Lids Off with Two Hands ／ Toru Lin, Zhao-Heng Yin, Haozhi Qi 他
日本語で読む → - 論文sim2realロボティクス
未知のペイロードを持つ車輪型ヒューマノイドロボットの制御に向けて：Real-to-Sim適応による平衡点推定
未知の物体を持ち上げる車輪型脚ロボットの新しい平衡点を、実機データとシミュレーションを組み合わせて推定するフレームワークを提案し、車輪型倒立振子で有効性を検証した。
原題: Toward Control of Wheeled Humanoid Robots with Unknown Payloads: Equilibrium Point Estimation via Real-to-Sim Adaptation ／ Donghoon Baek, Youngwoo Sim, Amartya Purushottam 他
日本語で読む → - 論文sim2realロボティクス
GPS・IMUセンサのSim2realギャップの定量化
小型自律車両で実環境とシミュレーションの実験を比較し、状態推定器を評価基準として用いることで、IMUとGPSのセンサシミュレーションに起因するsim2realギャップを定量化した研究。
原題: Quantifying the Sim2real Gap for GPS and IMU Sensors ／ Ishaan Mahajan, Huzaifa Unjhawala, Harry Zhang 他
日本語で読む → - 論文sim2realロボティクス
オブジェクト合成可能なNeRFによる視覚のSim-to-Realギャップ解消
実画像から物体を抽出して新しいシーンに合成できるNeRFモデルCOV-NeRFを提案し、写実的な描画と多様な2D/3D教師信号を生成して視覚タスクのsim-to-realギャップを迅速に埋める。
原題: Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs ／ Nikhil Mishra, Maximilian Sieb, Pieter Abbeel 他
日本語で読む → - 論文sim2realロボティクス
ベイズ推論によるSim-to-Realギャップの橋渡し
低忠実度の物理シミュレータを事前分布として活用し、ニューラルネットワークによるロボットダイナミクス学習を正則化するSIM-FSVGDを提案。RCレースカーでのドリフト駐車を少ないデータで実現。
原題: Bridging the Sim-to-Real Gap with Bayesian Inference ／ Jonas Rothfuss, Bhavya Sukhija, Lenart Treven 他
日本語で読む → - 論文sim2realロボティクス
バリア関数に着想を得た強化学習のための報酬整形
バリア関数を応用した安全志向の報酬整形フレームワークを提案し、シミュレーションと実機ロボットで学習の高速化と省エネルギー化を実現した。
原題: Barrier Functions Inspired Reward Shaping for Reinforcement Learning ／ Nilaksh Nilaksh, Abhishek Ranjan, Shreenabh Agrawal 他
日本語で読む → - 論文sim2real機械学習
物理情報を組み込んだ軌道オートエンコーダ
自動運転の安全性検証のため、物理ダイナミクスモデルを損失関数に組み込んだ軌道オートエンコーダを提案し、ノイズのない物理的に妥当な軌道生成を実現した。
原題: PITA: Physics-Informed Trajectory Autoencoder ／ Johannes Fischer, Kevin Rösch, Martin Lauer 他
日本語で読む → - 論文sim2realロボティクス
触覚強化学習による未知物体のSim2Realマニピュレーション
多様な物体をシミュレータ上で触覚入力を用いた強化学習により訓練し、未知物体への汎化と実機転移を実現する手法を提案。
原題: Sim2Real Manipulation on Unknown Objects with Tactile-based Reinforcement Learning ／ Entong Su, Chengzhe Jia, Yuzhe Qin 他
日本語で読む → - 論文sim2realロボティクス
流体を含む剛体の実機制御のための深層強化学習
流体と剛体が相互作用する実機ベンチトップ実験系「Box o Flows」を構築し、モデルフリー強化学習やオフライン強化学習で複雑な制御行動を獲得できることを示した。
原題: Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning ／ Mohak Bhardwaj, Thomas Lampe, Michael Neunert 他
日本語で読む → - 論文sim2realロボティクス
統合デジタルツイン基盤による異なるスケールの自動運転車両の検証に向けて
異なる3つのスケール・走行環境に対応する4台の自動運転車両のデジタルツインを構築し、共通の自動運転ソフトウェアスタックを仮想・ハイブリッド・実機で検証できる統合フレームワークを提案した。
原題: Towards Validation of Autonomous Vehicles Across Scales using an Integrated Digital Twin Framework ／ Tanmay Vilas Samak, Chinmay Vilas Samak, Venkat Narayan Krovi
日本語で読む → - 論文sim2realロボティクス
Gazebo Plants: Cosseratロッドによる植物-ロボット相互作用のシミュレーション
Gazebo上でCosseratロッドに基づく植物モデルを扱うプラグインを開発し、ロボットアームによる果実収穫のシミュレーションを実現した。
原題: Gazebo Plants: Simulating Plant-Robot Interaction with Cosserat Rods ／ Junchen Deng, Samhita Marri, Jonathan Klein 他
日本語で読む → - 論文sim2realロボティクス
自動運転車のドリフトのための逆キノダイナミクス学習
慣性計測と実行コマンドから車両のキノダイナミックモデルを学習し、高速円旋回や障害物回避を伴う自動ドリフトの精度向上を図った研究。
原題: Learning Inverse Kinodynamics for Autonomous Vehicle Drifting ／ M. Suvarna, O. Tehrani
日本語で読む → - 論文sim2real画像認識
DiffusionNOCS：Sim2Real多モーダルカテゴリレベル姿勢推定における対称性と不確実性の管理
拡散モデルを用いて密な正準マップを推定し、合成データのみの学習で対称物体や未知環境に対応するカテゴリレベル姿勢推定手法を提案。
原題: DiffusionNOCS: Managing Symmetry and Uncertainty in Sim2Real Multi-Modal Category-level Pose Estimation ／ Takuya Ikeda, Sergey Zakharov, Tianyi Ko 他
日本語で読む → - 論文sim2realロボティクス
実機ロボットで模擬筋を制御する学習：生体模倣アクチュエータ形態の活用に向けて
安価な電動モータで筋の特性をリアルタイムに模擬し、強化学習で訓練した方策を四足ロボットの実機で動かすことで、シミュレーションから実機への転移が可能であることを示した。
原題: Learning to Control Emulated Muscles in Real Robots: Towards Exploiting Bio-Inspired Actuator Morphology ／ Pierre Schumacher, Lorenz Krause, Jan Schneider 他
日本語で読む → - 論文sim2realロボティクス
合成データを用いたパレット検出の改善
倉庫環境でのパレットのインスタンスセグメンテーションにおいて、Unity生成の合成データとドメインランダム化データを活用し、実データ評価で性能を向上させた研究。
原題: Improving Pallet Detection Using Synthetic Data ／ Henry Gann, Josiah Bull, Trevor Gee 他
日本語で読む → - 論文sim2realロボティクス
並列デジタルツインを用いた自動運転のための学習ベースNMPC適応
実行可能デジタルツインとブラックボックス最適化を活用し、NMPCのパラメータをオンラインで自動適応させるSim2Real手法を提案。実世界実験で追従性能を75%改善し、Sim2Realギャップを大幅に削減した。
原題: Learning Based NMPC Adaptation for Autonomous Driving using Parallelized Digital Twin ／ Jean Pierre Allamaa, Panagiotis Patrinos, Herman Van der Auweraer 他
日本語で読む → - 論文sim2realロボティクス
強化学習によるロボット帆船：シミュレータと予備的結果
実機のロボット帆船のデジタルツインを構築し、強化学習による自律航行・制御のための仮想海洋環境を開発した。
原題: Reinforcement-learning robotic sailboats: simulator and preliminary results ／ Eduardo Charles Vasconcellos, Ronald M Sampaio, André P D Araújo 他
日本語で読む → - 論文sim2realロボティクス
不整地走行におけるスキッドステア移動ロボットの確率的運動モデル
ガウス過程回帰とシグマ点変換を用いて、不整地でのタイヤと地面の相互作用による滑りを確率的に推定し、従来の運動学モデルより高精度なデータ駆動型の動的運動モデルを提案した。
原題: A Probabilistic Motion Model for Skid-Steer Wheeled Mobile Robot Navigation on Off-Road Terrains ／ Ananya Trivedi, Mark Zolotas, Adeeb Abbas 他
日本語で読む →