論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2021/8/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文sim2realロボティクス
多目的Sim-to-Real学習における単一型とハイブリッド型コントローラの比較
障害物を避けながら目標に到達する多目的タスクで、単一のモノリシック強化学習コントローラと、単目的コントローラを切り替えるハイブリッド型を比較し、ハイブリッド型の方が学習が容易で成功・失敗のトレードオフが良いことを実機で示した。
原題: Monolithic vs. hybrid controller for multi-objective Sim-to-Real learning ／ Atakan Dag, Alexandre Angleraud, Wenyan Yang 他
日本語で読む → - 論文sim2realロボティクス
GPUシミュレーションから遠隔実機TriFingerへの巧みな操作の転移
3本指ロボットで立方体を任意の6自由度姿勢に動かすタスクをIsaacGymで強化学習し、キーポイント表現とドメインランダム化により遠隔実機で83%の成功率を達成した。
原題: Transferring Dexterous Manipulation from GPU Simulation to a Remote Real-World TriFinger ／ Arthur Allshire, Mayank Mittal, Varun Lodaya 他
日本語で読む → - 論文sim2realロボティクス
ドメイン適応による未知物体セグメンテーション
シミュレーションで学習した物体セグメンテーションモデルを、GANベースの画像変換とセグメンテーションで実世界に転移するsim2realフレームワークを提案し、ビンピッキングで未知物体のセグメンテーションを実現した。
原題: Unknown Object Segmentation through Domain Adaptation ／ Yiting Chen, Chenguang Yang, Miao Li
日本語で読む → - 論文sim2realロボティクス
iGibson 2.0: 家庭内タスク学習のための物体中心シミュレーション環境
温度・濡れ・汚れ・切断などの物体状態と述語論理を導入し、多様な家庭内タスクを自動生成できるオープンソースのロボット学習用シミュレータを提案した。VRによる人間デモ収集にも対応する。
原題: iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks ／ Chengshu Li, Fei Xia, Roberto Martín-Martín 他
日本語で読む → - 論文sim2realロボティクス
Isaac Gym：ロボット学習のためのGPUベース高性能物理シミュレーション
物理シミュレーションとニューラルネットワーク学習を両方GPU上で実行し、CPUボトルネックを排除することで、ロボット強化学習の訓練を従来比2〜3桁高速化したプラットフォームを提案。
原題: Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning ／ Viktor Makoviychuk, Lukasz Wawrzyniak, Yunrong Guo 他
日本語で読む → - 論文sim2realcs.NE
良い身体こそがすべて：エージェント構造探索による破滅的干渉の回避
ロボットの物理構造（センサ配置）を制御方策と同時に最適化することで、環境をまたいだ破滅的干渉に強い方策が得られることを示し、その仕組みをセンサのホメオスタシスとして説明した論文。
原題: A good body is all you need: avoiding catastrophic interference via agent architecture search ／ Joshua Powers, Ryan Grindle, Lapo Frati 他
日本語で読む → - 論文手術ロボット/sim2realロボティクス
SurRoL: dVRK対応の手術ロボット学習向け強化学習プラットフォーム
da Vinci研究キット(dVRK)と互換性のある、強化学習を中心とした手術ロボット学習用シミュレーションプラットフォームSurRoLを開発し、実機への転移性能が高いことを示した論文。
原題: SurRoL: An Open-source Reinforcement Learning Centered and dVRK Compatible Platform for Surgical Robot Learning ／ Jiaqi Xu, Bin Li, Bo Lu 他
日本語で読む → - 論文飛行制御/Sim2Realロボティクス
カリキュラム学習とSim2Realで強化した端到端深層強化学習による狭い隙間の飛行
カリキュラム学習で疎な報酬を誘導しつつ実機データなしで実機に転送する枠組みを提案し、ドローンが傾いた狭い隙間を通過するタスクを深層強化学習のみで初めて成功させた。
原題: Flying Through a Narrow Gap Using End-to-end Deep Reinforcement Learning Augmented with Curriculum Learning and Sim2Real ／ Chenxi Xiao, Peng Lu, Qizhi He
日本語で読む → - 論文sim2realcs.DC
Webots.HPC：高性能計算で自動運転車の並列ロボティクスシミュレーションを実現するパイプライン
WebotsシミュレーションをHPC上でヘッドレス/GUI両モードで並列実行し、大量のシミュレーションデータを生成できるパイプラインを開発した。
原題: Webots.HPC: A Parallel Robotics Simulation Pipeline for Autonomous Vehicles on High Performance Computing ／ Matt Franchi
日本語で読む → - 論文sim2realロボティクス
屋内野菜温室のためのリアルなロボティクスシミュレーション環境の構築
商業温室の3Dクラウド画像からCoppeliaSimを用いてロボットシミュレーション環境を構築する手法を提案し、実画像で検証した。
原題: Towards developing a realistic robotics simulation environment of an indoor vegetable greenhouse ／ Brent Van De Walker, Brendan Byrne, Joshua Near 他
日本語で読む → - 論文sim2realロボティクス
ビーム発散制御と連続行動空間による光干渉計のアライメント
マッハ・ツェンダー干渉計の視覚ベースのアライメントを強化学習で行い、シミュレーションのみで訓練したエージェントが実機で既存手法と人間の専門家を上回った。
原題: Aligning an optical interferometer with beam divergence control and continuous action space ／ Stepan Makarenko, Dmitry Sorokin, Alexander Ulanov 他
日本語で読む → - 論文協調運転/sim2realロボティクス
OpenCDA：協調運転自動化のためのオープンな共同シミュレーションフレームワーク
単車知能に偏った既存シミュレータの限界を埋めるため、異種シミュレータ連携・フルスタック協調運転システム・シナリオ管理を統合したCDA研究用オープンフレームワークを提案し、プラトゥーニング実装例で有効性を示した。
原題: OpenCDA:An Open Cooperative Driving Automation Framework Integrated with Co-Simulation ／ Runsheng Xu, Yi Guo, Xu Han 他
日本語で読む → - 論文sim2realロボティクス
敵対的環境生成による分布ロバスト方策学習
環境の生成モデルを学習し、潜在空間での勾配上昇により現実的な敵対的環境を生成することで、分布シフトに対してロバストな制御方策を学習する手法DRAGENを提案した。
原題: Distributionally Robust Policy Learning via Adversarial Environment Generation ／ Allen Z. Ren, Anirudha Majumdar
日本語で読む → - 論文sim2realロボティクス
未知の容器を安全に人からロボットへ受け渡すための実写→シミュレーション枠組み
未知のカップやグラスの物性と人間の手姿勢を動画から推定し、シミュレーション上で安全な受け渡しを実現する枠組みを提案した論文。
原題: Towards safe human-to-robot handovers of unknown containers ／ Yik Lung Pang, Alessio Xompero, Changjae Oh 他
日本語で読む → - 論文sim2real機械学習
自己を知る：ロボット認識による転移可能な視覚制御ポリシー
ロボットの既知情報を活用し、世界ダイナミクスとロボット固有ダイナミクスを分離したモジュール型モデルベースRLを提案。視覚操作スキルの新ロボットへのゼロショット転移を実現した。
原題: Know Thyself: Transferable Visual Control Policies Through Robot-Awareness ／ Edward S. Hu, Kun Huang, Oleh Rybkin 他
日本語で読む → - 論文sim2realロボティクス
BayesSimIG: IsaacGymを用いた適応的ドメインランダム化のためのスケーラブルなパラメータ推論
シミュレーションパラメータの尤度不要推論に基づくドメインランダム化手法BayesSimをNVIDIA IsaacGymと統合し、GPUで大規模並列シミュレーションと推論を高速化するライブラリを提案した。
原題: BayesSimIG: Scalable Parameter Inference for Adaptive Domain Randomization with IsaacGym ／ Rika Antonova, Fabio Ramos, Rafael Possas 他
日本語で読む → - 論文sim2realロボティクス
反復グラウンディングによる視覚・動力学ドメインギャップを越えた方策転移
視覚と動力学の両方のドメインギャップを反復的に環境をグラウンディングすることで最小限の教師信号で方策を転移する手法IDAPTを提案し、歩行とマニピュレーションで有効性を示した。
原題: Policy Transfer across Visual and Dynamics Domain Gaps via Iterative Grounding ／ Grace Zhang, Linghan Zhong, Youngwoon Lee 他
日本語で読む → - 論文sim2realロボティクス
RMQFMU：実世界と協調シミュレーションを橋渡しするツールの実践報告
AMQPプロトコルを用いてFMI2ベースの協調シミュレーションと外部環境の間でデータを双方向に流すプラグアンドプレイツールRMQFMUの改良と実践的知見を報告した論文。
原題: RMQFMU: Bridging the Real World with Co-simulation Technical Report ／ Mirgita Frasheri, Henrik Ejersbo, Casper Thule 他
日本語で読む → - 論文sim2realロボティクス
DR2L: ドメインランダム化強化学習でコーナーケースを顕在化し自動運転を堅牢化
シミュレーション内の自動運転強化学習に敵対的モデルを導入し、ドメインランダム化で難しい事例を段階的に浮かび上がらせて実世界への転移を容易にする研究。
原題: DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning ／ Haoyi Niu, Jianming Hu, Zheyu Cui 他
日本語で読む → - 論文sim2realロボティクス
自動運転向けレーダー知覚のシミュレーション・実環境ギャップを測る多層評価手法
レーダー知覚のシミュレーションと実環境の乖離を、センサーモデル自体の評価と下流タスク評価を組み合わせた多層手法で定量化し、3種類のレーダーモデルの忠実度を比較した。
原題: A Multi-Layered Approach for Measuring the Simulation-to-Reality Gap of Radar Perception for Autonomous Driving ／ Anthony Ngo, Max Paul Bauer, Michael Resch
日本語で読む → - 論文sim2realロボティクス
SimNet：ステレオ画像と合成データだけで未知物体操作を実現する
シミュレーションのステレオ画像を入力に、セグメンテーションや3Dバウンディングボックス、キーポイント、視差を同時に学習する単一ネットワークSimNetを提案し、実機ロボットで未知物体の把持を実現した。透明物体でも95%の把持成功率を達成。
原題: SimNet: Enabling Robust Unknown Object Manipulation from Pure Synthetic Data via Stereo ／ Thomas Kollar, Michael Laskey, Kevin Stone 他
日本語で読む → - 論文sim2real機械学習
Habitat 2.0：家庭用アシスタントロボットの訓練プラットフォーム
物理シミュレーション付き3D環境で家庭内の片付けや配膳などのタスクを解くロボットを訓練するためのデータ・シミュレータ・ベンチマークを提供し、強化学習と古典的パイプラインを比較した。
原題: Habitat 2.0: Training Home Assistants to Rearrange their Habitat ／ Andrew Szot, Alex Clegg, Eric Undersander 他
日本語で読む → - 論文視覚センサ/sim2realロボティクス
SCAMP視覚システムへのロボットシミュレータ統合
CoppeliaSimとSCAMP-5d視覚センサを連携させ、シミュレータ画像をセンサ上でCNN処理してロボット制御にフィードバックする半シミュレーション環境を構築し、車の位置推定・追従タスクで実証した。
原題: Bringing A Robot Simulator to the SCAMP Vision System ／ Yanan Liu, Jianing Chen, Laurie Bose 他
日本語で読む → - 論文sim2real機械学習
連続制御タスクのためのロバスト価値反復法
動的計画法に基づき、システムダイナミクスの敵対的摂動を組み込んだロバストな最適方策を連続状態・行動空間で計算する手法を提案し、実機の振り子と台車棒で有効性を示した。
原題: Robust Value Iteration for Continuous Control Tasks ／ Michael Lutter, Shie Mannor, Jan Peters 他
日本語で読む → - 論文sim2realロボティクス
力係数のアルゴリズム推定による模擬データ生成で非剛体物体の投射モデリングを強化
非剛体物体の投射における力係数をアルゴリズムで推定し、物理モデルから大量の模擬データを生成して深層学習モデルの学習を補強する枠組みを提案した論文。
原題: Simulated Data Generation Through Algorithmic Force Coefficient Estimation for AI-Based Robotic Projectile Launch Modeling ／ Sajiv Shah, Ayaan Haque, Fei Liu
日本語で読む → - 論文sim2real画像認識
シミュレーションの外へ：実世界における身体性ナビゲーション
Habitatシミュレータで学習した視覚ナビゲーションモデルを、未知の実環境でLoCoBotに搭載して動作させるためのSim2Real適応手法を提案した論文。
原題: Out of the Box: Embodied Navigation in the Real World ／ Roberto Bigazzi, Federico Landi, Marcella Cornia 他
日本語で読む → - 論文sim2realロボティクス
粗から細へのsim-to-real：広いタスク空間でのサブミリ精度
古典的な運動計画と学習ベースのEnd-to-End制御を組み合わせた粗から細への制御フレームワークを提案し、広いタスク空間でサブミリ精度のゼロショットsim-to-realを実現した。
原題: Coarse-to-Fine for Sim-to-Real: Sub-Millimetre Precision Across Wide Task Spaces ／ Eugene Valassakis, Norman Di Palo, Edward Johns
日本語で読む → - 論文sim2realロボティクス
アフィン変換による最適輸送を用いたSim-to-Realドメイン適応
状態遷移分布間の対応をアフィン変換でモデル化する最適輸送の変種を提案し、Procrustes整列で拡張。ホッケーパックを目標位置で止める実機タスクなどでモデル適応誤差を大幅に削減した。
原題: Affine Transport for Sim-to-Real Domain Adaptation ／ Anton Mallasto, Karol Arndt, Markus Heinonen 他
日本語で読む → - 論文sim2real画像認識
微分可能シミュレーションによる物性推定と視覚運動制御
微分可能なマルチフィジックスシミュレーションと微分可能レンダリングを組み合わせ、動画のピクセルから直接、質量・摩擦・弾性などの物理特性を推定するフレームワークgradSimを提案。3D教師信号なしで視覚運動制御タスクの学習も可能にする。
原題: gradSim: Differentiable simulation for system identification and visuomotor control ／ Krishna Murthy Jatavallabhula, Miles Macklin, Florian Golemo 他
日本語で読む → - 論文sim2realロボティクス
自動調整によるSim-to-Real転送
実世界のRGB画像のみを用いてシミュレータのシステムパラメータを自動調整し、実世界に近づける検索手法を提案した論文。
原題: Auto-Tuned Sim-to-Real Transfer ／ Yuqing Du, Olivia Watkins, Trevor Darrell 他
日本語で読む →