論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2020/12/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文sim2real機械学習
シミュレーションから実機への強化学習による車両のエンドツーエンド制御
単眼カメラ画像のみから連続的な車両操作を出力する畳み込みネットワークを、シミュレーション内でPPOとドメインランダム化を用いて学習し、実機の二車線道路で車線追従と衝突回避を実現した。
原題: Sim-to-real reinforcement learning applied to end-to-end vehicle control ／ András Kalapos, Csaba Gór, Róbert Moni 他
日本語で読む → - 論文sim2realロボティクス
学習によるソフトロボットの効率的なヤコビアン逆運動学とsim-to-real転移
ニューラルネットで順運動学とそのヤコビアンを学習し、ヤコビアン反復でソフトロボットの逆運動学を解く手法を提案。微分可能なsim-to-real層で実機に転移し、空圧駆動ソフトロボットの軌道追従と対話的位置決めで有効性を検証した。
原題: Efficient Jacobian-Based Inverse Kinematics with Sim-to-Real Transfer of Soft Robots by Learning ／ Guoxin Fang, Yingjun Tian, Zhi-Xin Yang 他
日本語で読む → - 論文sim2realロボティクス
ダイナミクス・サイクル整合性によるドメイン間対応の学習
非ペアのデータからダイナミクス・サイクル整合性を用いて異なるドメイン間の対応を学習し、追加のファインチューニングなしでポリシーを転移できる手法を提案した。
原題: Learning Cross-Domain Correspondence for Control with Dynamics Cycle-Consistency ／ Qiang Zhang, Tete Xiao, Alexei A. Efros 他
日本語で読む → - 論文触覚/sim2realロボティクス
高解像度光学触覚センシングのsim-to-real：画像から3D接触力分布へ
視覚型触覚センサの内部粒子運動を有限要素シミュレーションで再現し、合成画像のみで学習したニューラルネットが実機画像から3D接触力分布を高精度に推定できることを示した。
原題: Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions ／ Carmelo Sferrazza, Raffaello D'Andrea
日本語で読む → - 論文sim2realロボティクス
myGym: 視覚運動ロボットタスクのためのモジュラーツールキット
強化学習・模倣学習・内在的動機付けのための3DシミュレータベースのロボットツールキットmyGymを提案し、多様なロボット・環境・タスクをモジュール構造で柔軟に構成でき、実機への転移や視覚運動タスクの事前学習済みモジュールも提供する。
原題: myGym: Modular Toolkit for Visuomotor Robotic Tasks ／ Michal Vavrecka, Nikita Sokovnin, Megi Mejdrechova 他
日本語で読む → - 論文sim2realロボティクス
ダイナミクスランダム化の再検討：四足歩行の事例研究
Laikago四足ロボットの歩行方策学習において、ダイナミクスランダム化なしでもsim-to-real転移が可能であることを示し、成功を左右する設計要因をアブレーション研究で分析した論文。
原題: Dynamics Randomization Revisited:A Case Study for Quadrupedal Locomotion ／ Zhaoming Xie, Xingye Da, Michiel van de Panne 他
日本語で読む → - 論文sim2realロボティクス
ProbRobScene：3Dロボット操作環境のための確率的仕様記述言語
物体間の関係制約を記述するだけで、その仕様に沿ったロボット操作環境を自動生成する確率的仕様言語を提案し、卓上操作環境でのコントローラのデバッグに有用性を示した。
原題: ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments ／ Craig Innes, Subramanian Ramamoorthy
日本語で読む → - 論文sim2real画像認識
PREGAN: 弱ペア画像スタイル変換のための姿勢ランダム化と推定
姿勢誤差を含む弱ペア画像間のスタイル変換を、ランダム姿勢変換と微分可能な姿勢推定器による敵対的学習で実現した手法。
原題: PREGAN: Pose Randomization and Estimation for Weakly Paired Image Style Translation ／ Zexi Chen, Jiaxin Guo, Xuecheng Xu 他
日本語で読む → - 論文sim2real機械学習
拡張シミュレーションを用いた複雑な実時間物理問題解決のためのデータ効率学習
物理エンジンとガウス過程回帰の残差モデルを組み合わせ、円形迷路内のビー玉をリアルタイムNMPCで制御する手法を提案した論文。
原題: Data-Efficient Learning for Complex and Real-Time Physical Problem Solving using Augmented Simulation ／ Kei Ota, Devesh K. Jha, Diego Romeres 他
日本語で読む → - 論文sim2real画像認識
ドメイン不変表現学習によるSim-to-Real転送
シミュレーションと実環境の入力・出力分布を敵対的学習で同時に整列し、少量の実データで視覚モデルを実環境に適応させる手法を提案。物体認識のsim-to-real転送精度を26.8%から91.0%に改善した。
原題: DIRL: Domain-Invariant Representation Learning for Sim-to-Real Transfer ／ Ajay Kumar Tanwani
日本語で読む → - 論文sim2realロボティクス
手術ロボット技能データベースDESKによる戦場医療への知識転移
4種類の手術ロボットでペグ移動タスクの技能データを収集し、シミュレーションと実機データを組み合わせた転移学習でロボット間の技能移行を評価した研究。
原題: From the DESK (Dexterous Surgical Skill) to the Battlefield -- A Robotics Exploratory Study ／ Glebys T. Gonzalez, Upinder Kaur, Masudur Rahma 他
日本語で読む → - 論文sim2realロボティクス
操作プリミティブ列の強化学習によるロボット組立
組立作業を「接触するまで下降」などの操作プリミティブの動的系列として表現し、強化学習で自動獲得してシミュレーションから実機へ直接転送する手法を提案した論文。
原題: Learning Sequences of Manipulation Primitives for Robotic Assembly ／ Nghia Vuong, Hung Pham, Quang-Cuong Pham
日本語で読む → - 論文sim2realロボティクス
RetinaGAN：物体認識を考慮したSim-to-Real転移手法
物体検出の一貫性を保ちながらシミュレーション画像を実画像へ変換するGANを提案し、把持・押し・ドア開けの実タスクでsim-to-real性能を向上させた。
原題: RetinaGAN: An Object-aware Approach to Sim-to-Real Transfer ／ Daniel Ho, Kanishka Rao, Zhuo Xu 他
日本語で読む → - 論文歩行ナビゲーション/sim2realロボティクス
ロボット埋め込み学習による脚式ロボットのナビゲーションスキル獲得
複数の脚式ロボットのダイナミクスを考慮した階層的ナビゲーションポリシーを学習し、ロボット固有の埋め込みを最適化することで未知のロボットや実機への効率的な適応とsim-to-real転移を実現した。
原題: Learning Navigation Skills for Legged Robots with Learned Robot Embeddings ／ Joanne Truong, Denis Yarats, Tianyu Li 他
日本語で読む → - 論文sim2real機械学習
ロボティクスシミュレータ較正のためのユーザーガイド
シミュレーションから実世界への転移アルゴリズムを比較するためのベンチマークと評価枠組みを提案し、様々な環境で実験して実践的な知見を示した論文。
原題: A User's Guide to Calibrating Robotics Simulators ／ Bhairav Mehta, Ankur Handa, Dieter Fox 他
日本語で読む → - 論文sim2realロボティクス
視覚スキルと事前条件モデルによる反応型長期間タスク実行
シミュレーションで学習したスキルライブラリと事前条件・終了条件モデルを組み合わせ、実世界で未見の長期タスクをファインチューニングなしで実行する手法を提案した。
原題: Reactive Long Horizon Task Execution via Visual Skill and Precondition Models ／ Shohin Mukherjee, Chris Paxton, Arsalan Mousavian 他
日本語で読む → - 論文手術ロボット/sim2realロボティクス
手術ロボット自律化のための位置ベース動力学を用いた変形軟組織の実環境-シミュレーション登録
視覚による3D再構成と位置ベース動力学(PBD)をオンラインで統合し、軟組織の変形をシミュレーション上で継続的に登録・更新する手法を提案し、da Vinci Research Kitで検証した。
原題: Real-to-Sim Registration of Deformable Soft Tissue with Position-Based Dynamics for Surgical Robot Autonomy ／ Fei Liu, Zihan Li, Yunhai Han 他
日本語で読む → - 論文sim2realロボティクス
周期的報酬合成による二足歩行の全基本歩容のsim-to-real学習
力と速度に周期的な確率的コストを課す報酬設計で、立ち・歩行・跳躍・走行・スキップの全二足歩行を学習し、実機Cassieへ転移させた研究。
原題: Sim-to-Real Learning of All Common Bipedal Gaits via Periodic Reward Composition ／ Jonah Siekmann, Yesh Godse, Alan Fern 他
日本語で読む → - 論文sim2real画像認識
視覚言語ナビゲーションのsim2real転移
シミュレーションで学習した視覚言語ナビゲーションエージェントを実機ロボットに転移し、サブゴールモデルとドメインランダム化で精度を検証した。
原題: Sim-to-Real Transfer for Vision-and-Language Navigation ／ Peter Anderson, Ayush Shrivastava, Joanne Truong 他
日本語で読む → - 論文sim2realロボティクス
身体性ナビゲーションエージェントのSim2Real転移のための双方向ドメイン適応
実世界とシミュレーションのギャップを双方向に埋める手法BDAを提案し、PointGoalナビゲーションで5kサンプルのみで約600kサンプル相当の性能を達成した。
原題: Bi-directional Domain Adaptation for Sim2Real Transfer of Embodied Navigation Agents ／ Joanne Truong, Sonia Chernova, Dhruv Batra
日本語で読む → - 論文sim2realロボティクス
テンセグリティロボット向けデータ効率の良い微分可能物理エンジンのSim2Sim評価
テンセグリティロボット向けにケーブル・接触・駆動をモデル化した初の微分可能物理エンジンを提案し、MuJoCoを真値系としたsim2sim転移で少ないデータでも歩行方策を学習できることを示した。
原題: Sim2Sim Evaluation of a Novel Data-Efficient Differentiable Physics Engine for Tensegrity Robots ／ Kun Wang, Mridul Aanjaneya, Kostas Bekris
日本語で読む → - 論文sim2realロボティクス
高精度自動運転車両モデリングのためのDRFフレームワーク
既存の車両動学モデルに深層ニューラルネットとSVGPを組み合わせた残差補正モデルを付加し、軌道誤差を最大85%削減する枠組みを提案した論文。
原題: DRF: A Framework for High-Accuracy Autonomous Driving Vehicle Modeling ／ Shu Jiang, Yu Wang, Longtao Lin 他
日本語で読む → - 論文sim2realロボティクス
シミュレーションで学び、実車で走る
簡単な車両モデルとモデルランダム化を用いたシミュレーションのみで強化学習ポリシーを訓練し、実車のミニチュアレースカーに転移させた。ポリシー出力の正則化と持ち上げアクション空間により滑らかかつアグレッシブな走行を実現し、実環境データで微調整することでMPCに匹敵するラップタイムと50%の制約違反削減を達成した。
原題: Learning from Simulation, Racing in Reality ／ Eugenio Chisari, Alexander Liniger, Alisa Rupenyan 他
日本語で読む → - 論文sim2realロボティクス
音響による確率的ダイナミクスのsim-to-realフレームワークSTReSSD
跳ねるボールの衝突音から反発係数やノイズモデルをベイズ推定し、確率的シミュレータを実環境に校正して、カップイン予測やロボットアームによるリアルタイム打球実験を実現した。
原題: STReSSD: Sim-To-Real from Sound for Stochastic Dynamics ／ Carolyn Matl, Yashraj Narang, Dieter Fox 他
日本語で読む → - 論文sim2real制御
MRAC-RL：パラメトリックモデル不確かさ下でのオンラインポリシー適応フレームワーク
適応制御とシステム同定を強化学習に組み合わせ、シミュレーションで学習したポリシーがモデル誤差のある実環境でも適応できるMRAC-RLフレームワークを提案した論文。
原題: MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty ／ Anubhav Guha, Anuradha Annaswamy
日本語で読む → - 論文sim2realロボティクス
視点不変な物体分解型3D環境シミュレータ
RGB-D動画から物体ごとに分解された3D特徴空間を学習し、物体間の相互作用によるシーン変化を予測するダイナミクスモデルを提案。任意視点で描画可能で、実機へのsim2real転移も示した。
原題: 3D-OES: Viewpoint-Invariant Object-Factorized Environment Simulators ／ Hsiao-Yu Fish Tung, Zhou Xian, Mihir Prabhudesai 他
日本語で読む → - 論文sim2real画像認識
実世界の歩行者を復元しシミュレーションする
自動運転車のセンサデータから歩行者の形状と動きを復元し、LiDARシミュレーションに組み込んで学習データ削減に貢献する手法を提案。
原題: Recovering and Simulating Pedestrians in the Wild ／ Ze Yang, Siva Manivasagam, Ming Liang 他
日本語で読む → - 論文sim2realロボティクス
ソフト成長ロボットのための動力学シミュレータ
膨張ビーム型ソフトロボット「バインロボット」の動力学を、接触制約付き多リンク剛体モデルで高速にシミュレーションし、動画データからパラメータをフィッティングして実機とのギャップを縮小した研究。
原題: A Dynamics Simulator for Soft Growing Robots ／ Rianna Jitosho, Nathaniel Agharese, Allison Okamura 他
日本語で読む → - 論文sim2realロボティクス
合成環境から実環境への転移を学ぶ：自己位置推定とナビゲーションタスク
フォトリアルなシミュレータiGibson上で、画像表現抽出・通路検出・局所方策の3ネットワークからなるトポロジカルなナビゲーションパイプラインを構築し、実環境へのsim2realギャップの低減を目指した研究。
原題: Learning Synthetic to Real Transfer for Localization and Navigational Tasks ／ Maxime Pietrantoni, Boris Chidlovskii, Tomi Silander
日本語で読む → - 論文sim2realロボティクス
NeuralSim: ニューラルネットワークで微分可能シミュレータを拡張する
微分可能な剛体物理エンジンにニューラルネットワークを組み込み、摩擦接触などの複雑なダイナミクスを実データから学習するとともに、四足歩行のモデル予測制御のQPソルバをNNに置き換えて10倍高速化を実現した。
原題: NeuralSim: Augmenting Differentiable Simulators with Neural Networks ／ Eric Heiden, David Millard, Erwin Coumans 他
日本語で読む →