論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/5/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文フェデレーテッドラーニング/sim2realロボティクス
継続的なSim-to-Real転送を伴う自律移動ロボットの生涯フェデレーテッドラーニングに向けて
移動ロボットの視覚的障害物回避を対象に、シミュレーションと実環境の両方でロボットが学習に参加するフェデレーテッドラーニングの有効性を検証し、自動ラベリングによる継続学習手法を提案した論文。
原題: Towards Lifelong Federated Learning in Autonomous Mobile Robots with Continuous Sim-to-Real Transfer ／ Xianjia Yu, Jorge Pena Queralta, Tomi Westerlund
日本語で読む → - 論文sim2realロボティクス
未知の穴への実世界ペグ挿入のためのシミュレーション学習に基づく視覚ポリシー
シミュレーションで汎用ポリシーを学習し、実世界の未知形状の穴へ最小限のsim2realコストで適応するペグ挿入手法を提案。1分間の教示で自動収集したデータでセグメンテーションを微調整し、EV充電システムで10/10の成功率を達成。
原題: Learning A Simulation-based Visual Policy for Real-world Peg In Unseen Holes ／ Liang Xie, Hongxiang Yu, Kechun Xu 他
日本語で読む → - 論文sim2realロボティクス
画像勾配でSim2Realギャップを埋めるEnd-to-End自動運転
NeurIPS 2021 AWS Deepracer Challenge優勝解法。Cannyエッジ検出で観測のドメインギャップを縮小し、MLP-MIXERによる行動クローニングで実機コースを走行可能な高速モデルを実現した。
原題: Bridging Sim2Real Gap Using Image Gradients for the Task of End-to-End Autonomous Driving ／ Unnikrishnan R Nair, Sarthak Sharma, Udit Singh Parihar 他
日本語で読む → - 論文sim2realロボティクス
MIDGARD: 非構造環境における自律ナビゲーションのためのシミュレーションプラットフォーム
Unreal Engine を用いたフォトリアルな3D環境で、屋外の非構造環境を走行する自律ロボットのナビゲーションを学習・評価できるオープンソースのシミュレーションプラットフォームを提案。
原題: MIDGARD: A Simulation Platform for Autonomous Navigation in Unstructured Environments ／ Giuseppe Vecchio, Simone Palazzo, Dario C. Guastella 他
日本語で読む → - 論文sim2realロボティクス
ACuTE: 単純環境から複雑環境へのカリキュラム自動転送
単純な環境で最適化したカリキュラムの設計を複雑な実環境へ転送する枠組みを提案し、学習の立ち上がりと目標到達時間を改善、実機へのSim2Real転送も実証した。
原題: ACuTE: Automatic Curriculum Transfer from Simple to Complex Environments ／ Yash Shukla, Christopher Thierauf, Ramtin Hosseini 他
日本語で読む → - 論文sim2real画像認識
ObjectFolder 2.0：Sim2Real転送のためのマルチセンサリ物体データセット
視覚・音響・触覚のマルチセンサリデータを持つ大規模物体データセットを構築し、仮想物体で学習したモデルが実世界の物体スケール推定・接触位置推定・形状復元に転送できることを示した。
原題: ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer ／ Ruohan Gao, Zilin Si, Yen-Yu Chang 他
日本語で読む → - 論文sim2realロボティクス
実点群から変形物体のシミュレーションを自動調整するDiffCloud
実世界の点群データから変形物体の物理シミュレーションのパラメータを、微分可能な点群サンプリングとシミュレーションを用いて自動推定し、実物体の挙動に合わせる手法を提案した論文。
原題: DiffCloud: Real-to-Sim from Point Clouds with Differentiable Simulation and Rendering of Deformable Objects ／ Priya Sundaresan, Rika Antonova, Jeannette Bohg
日本語で読む → - 論文sim2real機械学習
並列微分可能シミュレーションによる方策学習の高速化
微分可能シミュレータと新アルゴリズムSHACを組み合わせ、局所解や勾配消失を抑えつつ並列環境で方策学習を高速化した論文。
原題: Accelerated Policy Learning with Parallel Differentiable Simulation ／ Jie Xu, Viktor Makoviychuk, Yashraj Narang 他
日本語で読む → - 論文sim2realロボティクス
連続体ロボットの閉ループ制御のためのデータ効率の良いモデルベース学習フレームワーク
シミュレーションと実データを組み合わせ、わずか100点の実データで1万点で学習した実データのみの制御器を上回る連続体ロボットの閉ループ制御フレームワークを提案し、sim-to-realギャップの橋渡しを実現した。
原題: A Data-Efficient Model-Based Learning Framework for the Closed-Loop Control of Continuum Robots ／ Xinran Wang, Nicolas Rojas
日本語で読む → - 論文sim2realロボティクス
モデルベース制御のための敵対的視覚シナリオの合成
微分可能なMPCで制御器の状態推定誤差への感度を計算し、多段階モデルベース制御に特化した敵対的視覚データを合成して視覚モデルを再学習、OoDテストで制御性能を最大36.2%改善した。
原題: Synthesizing Adversarial Visual Scenarios for Model-Based Robotic Control ／ Shubhankar Agarwal, Sandeep P. Chinchali
日本語で読む → - 論文sim2real画像認識
未見物体インスタンスセグメンテーションのための完全テスト時RGB-D埋め込み適応
シミュレーションで学習したRGB-Dセグメンテーションモデルを、実世界のテスト画像のみでBatchNormパラメータとクロスモダリティ蒸留により適応させ、未見物体のセグメンテーション精度を向上させた研究。
原題: Unseen Object Instance Segmentation with Fully Test-time RGB-D Embeddings Adaptation ／ Lu Zhang, Siqi Zhang, Xu Yang 他
日本語で読む → - 論文sim2realロボティクス
文脈認識型sim-to-real適応による手術ロボットの人間-ロボット共有制御
手術シミュレータで学習した軌道をDMPで実機に転送し、ニューラルネットが予測する手術文脈に応じてロボットの役割を適応させる共有制御フレームワークをdVRKで検証した。
原題: Human-Robot Shared Control for Surgical Robot Based on Context-Aware Sim-to-Real Adaptation ／ Dandan Zhang, Zicong Wu, Junhong Chen 他
日本語で読む → - 論文sim2realロボティクス
トルクセンサなしギア駆動ヒューマノイドにおける柔軟二足歩行のsim2real転移
高減速ギアの新規シミュレーションモデルと失敗試行も活用するシステム同定法を提案し、力・トルクセンサなしの二足ロボットOP3で外乱や不整地に対応する歩行ポリシーのsim2real転移を実現した。
原題: Sim-to-Real Transfer of Compliant Bipedal Locomotion on Torque Sensor-Less Gear-Driven Humanoid ／ Shimpei Masuda, Kuniyuki Takahashi
日本語で読む → - 論文sim2realロボティクス
反復自己学習によるSim-to-Real 6D物体姿勢推定とロボットビンピッキングへの応用
フォトリアルなシミュレータで初期モデルを学習し、実データへの予測を擬似ラベルとして反復的に自己学習させることで、実環境での6D姿勢推定精度とビンピッキング成功率を向上させた研究。
原題: Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking ／ Kai Chen, Rui Cao, Stephen James 他
日本語で読む → - 論文sim2realロボティクス
Quad2Plane: マルチロータで固定翼機の挙動を模倣する中間訓練手法
高価で危険な固定翼機の実機学習の代わりに、マルチロータ機にモデル予測制御で固定翼機の挙動を模倣させ、シミュレーションと実環境でオンライン探索訓練を可能にする手法を提案した。
原題: Quad2Plane: An Intermediate Training Procedure for Online Exploration in Aerial Robotics via Receding Horizon Control ／ Alexander Quessy, Thomas Richardson
日本語で読む → - 論文sim2realcs.NE
カリキュラム強化学習のための進化的地形生成手法の比較評価
ノイズベースの地形生成器とCPPN・GANの間接表現を比較し、MAP-Elitesの特徴記述子とPPOによるヒューマノイド歩行学習への影響を評価した論文。
原題: Assessing Evolutionary Terrain Generation Methods for Curriculum Reinforcement Learning ／ David Howard, Josh Kannemeyer, Davide Dolcetti 他
日本語で読む → - 論文sim2realロボティクス
レンダリング・イン・ザ・ループ型空中ロボティクスシミュレータ：屋内農業における収量推定のケーススタディ
GazeboとBlenderのCyclesレンダラを組み合わせ、ROS対応の物理シミュレーションと準リアルなRGB-D画像生成を両立させた空中ロボット用シミュレータを構築し、屋内ピーマン栽培の収量推定タスクで有効性を示した。
原題: Render-in-the-loop aerial robotics simulator: Case Study on Yield Estimation in Indoor Agriculture ／ Antun Ivanovic, Marsela Polic, Jelena Tabak 他
日本語で読む → - 論文sim2realロボティクス
低頻度データで学習可能なテンセグリティロボットのリカレント微分可能エンジン
テンセグリティロボットの微分可能物理エンジンにリカレント構造と暗黙的積分・段階的学習・微分可能衝突判定を導入し、低頻度の実測軌道データでも高精度にモデル化できるようにした。
原題: A Recurrent Differentiable Engine for Modeling Tensegrity Robots Trainable with Low-Frequency Data ／ Kun Wang, Mridul Aanjaneya, Kostas Bekris
日本語で読む → - 論文sim2realロボティクス
Dojo: ロボティクス向け微分可能物理エンジン
接触・摩擦を二次錐計画で安定に解き、陰関数定理で滑らかな勾配を得る微分可能物理エンジンを提案し、軌道最適化やシステム同定、実機実験で有効性を示した。
原題: Dojo: A Differentiable Physics Engine for Robotics ／ Taylor A. Howell, Simon Le Cleac'h, Jan Brüdigam 他
日本語で読む → - 論文sim2realロボティクス
強化学習によるヒューマノイドの反応的ステッピング：外骨格Atalanteの立位押し戻し回復への応用
瞬時の固有感覚のみを用い、終了条件と方策の滑らかさを工夫してシミュレーションから実機へ安全に転移できる立位押し戻し回復を強化学習で実現し、下肢医療外骨格Atalanteで実証した。
原題: Reactive Stepping for Humanoid Robots using Reinforcement Learning: Application to Standing Push Recovery on the Exoskeleton Atalante ／ Alexis Duburcq, Fabian Schramm, Guilhem Boéris 他
日本語で読む → - 論文sim2realロボティクス
模倣して再利用：人と動物の動作から学習する再利用可能なロボット運動スキル
人や犬のモーションキャプチャデータを模倣して脚式ロボットの運動スキルモジュールを学習し、歩行やボールドリブルなどの下流タスクに再利用して実機へゼロショット転移した研究。
原題: Imitate and Repurpose: Learning Reusable Robot Movement Skills From Human and Animal Behaviors ／ Steven Bohez, Saran Tunyasuvunakool, Philemon Brakel 他
日本語で読む → - 論文sim2real制御
車両インザループ型ドライビングシミュレータにおける高速エミュレーション
VRとステアバイワイヤ車両を用いた車両インザループシミュレータで、限られた走行空間内でも高速走行の動態と操舵力覚を再現する手法を提案した。
原題: High Speed Emulation in a Vehicle-in-the-Loop Driving Simulator ／ Elliot Weiss, J. Christian Gerdes
日本語で読む → - 論文ロボット教育/sim2realロボティクス
産業用ロボット教育を支援するシミュレーションツールの開発
Unity 3Dを用いて産業用ロボットアームのシミュレータを開発し、逆運動学と順運動学の両方で制御できるようにして、実機なしで授業の理論と実践を結びつける教育支援を実現した。
原題: Desenvolvimento de ferramenta de simula\c{c}\~ao para aux\'ilio no ensino da disciplina de rob\'otica industrial ／ Afonso Henriques Fontes Neto Segundo, Joel Sotero da Cunha Neto, Halisson Alves de Oliveira 他
日本語で読む → - 論文sim2real機械学習
Sim-to-Real深層強化学習のためのクラウド・エッジ訓練アーキテクチャ
推論をエッジ、訓練をクラウドに分担する分散アーキテクチャで、シミュレーションで事前訓練した強化学習エージェントを実機上でリアルタイムに追加訓練し、現実ギャップを克服する手法を提案した。
原題: Cloud-Edge Training Architecture for Sim-to-Real Deep Reinforcement Learning ／ Hongpeng Cao, Mirco Theile, Federico G. Wyrwal 他
日本語で読む → - 論文sim2realロボティクス
合成データと適応指で実現する混雑食品の把持
実食品の3Dモデルから合成データを作りインスタンスセグメンテーションを学習し、衝突時に受動的に引っ込む適応指と周囲への損傷を避ける把持フィルタで混雑した食品トレイのピッキングを実現した。
原題: Cluttered Food Grasping with Adaptive Fingers and Synthetic-Data Trained Object Detection ／ Avinash Ummadisingu, Kuniyuki Takahashi, Naoki Fukaya
日本語で読む → - 論文強化学習/飛行制御/sim2realロボティクス
好奇心駆動強化学習によるクアッドロータのアグレッシブ飛行
軌道計画を必要とせず、類似度ベースの好奇心モジュールと分岐構造探索で訓練を高速化・頑健化し、シミュレーションから実機へ直接転移できるアグレッシブ飛行ポリシーを強化学習で獲得した論文。
原題: Aggressive Quadrotor Flight Using Curiosity-Driven Reinforcement Learning ／ Qiyu Sun, Jinbao Fang, Wei Xing Zheng 他
日本語で読む → - 論文sim2real画像認識
6D姿勢推定のためのSim2Realインスタンスレベルスタイル変換
合成データと実データのドメインギャップを埋めるため、対象物体ごとに合成画像のスタイルを実画像へ自動変換し、6D姿勢推定ネットワークの学習精度を向上させる手法を提案した。
原題: Sim2Real Instance-Level Style Transfer for 6D Pose Estimation ／ Takuya Ikeda, Suomi Tanishige, Ayako Amma 他
日本語で読む → - 論文sim2realロボティクス
Sim-to-Realによる自動運転のマルチエージェント強化学習ポリシーの転移
Duckietownのダイナミクスを模したマルチエージェント環境でMAPPOとドメインランダム化を用いて自動運転ポリシーを学習し、実機テストベッドへ転移してルールベース手法より平均1.85倍高い報酬を得た。
原題: Transferring Multi-Agent Reinforcement Learning Policies for Autonomous Driving using Sim-to-Real ／ Eduardo Candela, Leandro Parada, Luis Marques 他
日本語で読む → - 論文sim2realロボティクス
RGBD動画から関節剛体ダイナミクスを推定する
RGBD動画から逆レンダリングと微分可能シミュレーションを組み合わせ、実世界の関節機構のデジタルツインを自動構築する手法を提案。関節種類・運動学パラメータ・動特性を推定し、制御ポリシーの実機転移も実証した。
原題: Inferring Articulated Rigid Body Dynamics from RGBD Video ／ Eric Heiden, Ziang Liu, Vibhav Vineet 他
日本語で読む → - 論文sim2realロボティクス
オンボードカメラが捉えたシーン構造からUAVが生む乱流を推定する学習手法
オンボードカメラ画像と制御入力から、障害物や複雑構造に起因する飛行中の乱流を推定するモデルを学習し、シミュレーションから実環境へのsim2real転移で良好な性能を示した。
原題: Learning to estimate UAV created turbulence from scene structure observed by onboard cameras ／ Quentin Possamaï, Steeven Janny, Madiha Nadri 他
日本語で読む →