論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2025/3/1 ／ arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文sim2realcs.CE
グラフニューラルネットワークによるロボット左官印刷の予測モデリング
ロボットアームで壁にモルタルを吹き付ける左官印刷プロセスを、粒子表現とグラフニューラルネットワークでモデル化し、表面形状を高精度に予測するシミュレータを提案した。
原題: Graph Neural Network-Based Predictive Modeling for Robotic Plaster Printing ／ Diego Machain Rivera, Selen Ercan Jenny, Ping Hsun Tsai 他
日本語で読む → - 論文sim2realロボティクス
剛体と材料点法の凸定式化とGPU非同期連成によるインタラクティブシミュレーション
材料点法と剛体力学を摩擦接触で弱連成する凸定式化を提案し、GPU並列化と非同期時間分割で最大500倍の高速化を達成、ロボット操作のインタラクティブシミュレーションを可能にした。
原題: A Convex Formulation of Material Points and Rigid Bodies with GPU-Accelerated Async-Coupling for Interactive Simulation ／ Chang Yu, Wenxin Du, Zeshun Zong 他
日本語で読む → - 論文sim2realロボティクス
実世界でピアノを弾くロボットの学習
シミュレーションと実世界を交互に学習するSim2Real2Simアプローチにより、実機の器用なロボットがピアノ曲を正確に演奏できることを示した。
原題: Learning to Play Piano in the Real World ／ Yves-Simon Zeulner, Simon Crämer, Sandeep Selvaraj 他
日本語で読む → - 論文sim2real画像認識
Instrument-Splatting: ガウシアンスプラッティングによる手術器具の制御可能なフォトリアリスティック再構成
単眼の手術動画から3Dガウシアンスプラッティングを用いて手術器具をフォトリアルかつ関節制御可能に再構成するReal2Sim手法を提案。
原題: Instrument-Splatting: Controllable Photorealistic Reconstruction of Surgical Instruments Using Gaussian Splatting ／ Shuojue Yang, Zijian Wu, Mingxuan Hong 他
日本語で読む → - 論文sim2realロボティクス
Video2Policy: インターネット動画を活用したシミュレーションでのマニピュレーションタスクのスケーリング
インターネット上の人間行動動画からシミュレーションタスクを再構築し、LLM生成報酬による強化学習で汎用方策を訓練、実機転移も実現したフレームワーク。
原題: Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos ／ Weirui Ye, Fangchen Liu, Zheng Ding 他
日本語で読む → - 論文sim2real機械学習
強化学習におけるSim-to-Real手法のサーベイ：基盤モデルによる進展・展望・課題
強化学習のシミュレーションから実環境への転移（sim-to-real）技術を、MDPの構成要素（状態・行動・遷移・報酬）ごとに分類し、基盤モデル活用の最新手法や評価方法、課題を整理したサーベイ。
原題: A Survey of Sim-to-Real Methods in RL: Progress, Prospects and Challenges with Foundation Models ／ Longchao Da, Justin Turnau, Thirulogasankar Pranav Kutralingam 他
日本語で読む → - 論文sim2real画像認識
海洋環境におけるUAVの深層単眼姿勢推定のためのビジョン・イン・ザ・ループ・シミュレーション
ガウススプラッティングで実海域のフォトリアルな仮想環境を構築し、船舶上UAVの深層単眼姿勢推定を屋内で検証できるシミュレーション手法を提案した。
原題: Vision-in-the-loop Simulation for Deep Monocular Pose Estimation of UAV in Ocean Environment ／ Maneesha Wickramasuriya, Beomyeol Yu, Taeyoung Lee 他
日本語で読む → - 論文sim2realロボティクス
シミュレート困難な目的関数の微調整による四足歩行：総消費電力削減の事例研究
実世界データでバッテリー消費電力などのシミュレート困難な目的をモデル化し、シミュレーションに組み込んで歩行ポリシーを微調整することで、四足歩行の総消費電力を24〜28%削減した。
原題: Fine-Tuning Hard-to-Simulate Objectives for Quadruped Locomotion: A Case Study on Total Power Saving ／ Ruiqian Nai, Jiacheng You, Liu Cao 他
日本語で読む → - 論文sim2realロボティクス
アスレチックな移動操作のためのSim-to-Realギャップの橋渡し
実世界データを活用したUnsupervised Actuator Netと参照軌道を用いた事前学習・微調整により、ロボットが物を持ち上げたり投げたりする動的な移動操作をシミュレーションから実機へ高精度に転移させる手法を提案。
原題: Bridging the Sim-to-Real Gap for Athletic Loco-Manipulation ／ Nolan Fey, Gabriel B. Margolis, Martin Peticco 他
日本語で読む → - 論文sim2realロボティクス
PrivilegedDreamer: 特権情報の明示的想像による学習済み方策の迅速な適応
隠れパラメータを持つMDP問題に対し、履歴から隠れパラメータを推定する二重再帰構造を組み込んだモデルベース強化学習手法を提案し、sim-to-real適応性能を向上させた。
原題: PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies ／ Morgan Byrd, Jackson Crandell, Mili Das 他
日本語で読む → - 論文sim2real画像認識
精密農業のための自己教師ありデータ生成：シミュレーション環境と実画像の融合
Unity製のブドウ園シミュレータとカットアンドペースト手法を組み合わせ、幾何学的整合性を保ちながら実写風の合成画像とラベルを自動生成し、検出器の学習性能を向上させた研究。
原題: Self-Supervised Data Generation for Precision Agriculture: Blending Simulated Environments with Real Imagery ／ Leonardo Saraceni, Ionut Marian Motoi, Daniele Nardi 他
日本語で読む → - 論文sim2realロボティクス
VR-Robo：実環境からシミュレーションを経て実環境へ戻す、視覚的ロボットナビゲーションと歩行のためのフレームワーク
多視点画像から3Dガウススプラッティングでフォトリアルなデジタルツイン環境を構築し、強化学習で視覚的目標追跡を学習させることで、RGBのみのsim-to-real転移を実現した。
原題: VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion ／ Shaoting Zhu, Linzhan Mou, Derun Li 他
日本語で読む → - 論文sim2realロボティクス
FetchBot: ゼロショットSim2Realによる散らかったシーンでの汎化可能な物体把持
100万シーンの合成データと50万のデモを用い、RGBから深度を予測して遮蔽物を考慮した行動生成を行うSim2Realフレームワーク。実環境の散らかった場面で平均89.95%の成功率を達成した。
原題: FetchBot: Learning Generalizable Object Fetching in Cluttered Scenes via Zero-Shot Sim2Real ／ Weiheng Liu, Yuxuan Wan, Jilong Wang 他
日本語で読む → - 論文sim2realロボティクス
Stonefish: 海洋ロボティクスにおける機械学習研究を支援するシミュレータ
オープンソースの海洋ロボティクスシミュレータStonefishに、イベントカメラや熱カメラなどのセンサ群、可視光通信、テザー運用、スラスタモデル、ソナー精度を追加し、機械学習研究を支援する強化を行った。
原題: Stonefish: Supporting Machine Learning Research in Marine Robotics ／ Michele Grimaldi, Patryk Cieslak, Eduardo Ochoa 他
日本語で読む → - 論文sim2realロボティクス
FusionForce：軌道予測のためのエンドツーエンド微分可能なニューロシンボリック層
カメラやLiDARから不整地でのロボット軌道を予測するため、学習可能な力予測と微分可能な物理エンジンを組み合わせたニューロシンボリックモデルを提案。古典力学を課すことで分布外汎化とsim-to-realギャップを改善する。
原題: FusionForce: End-to-end Differentiable Neural-Symbolic Layer for Trajectory Prediction ／ Ruslan Agishev, Karel Zimmermann
日本語で読む → - 論文sim2realロボティクス
正規化フローによるドメインランダム化でロボットスキルを学習・系列化
正規化フローで環境のサンプリング分布を自動学習するドメインランダム化手法を提案し、6つのシミュレーションと1つの実機タスクで頑健性を検証。さらに学習した分布と特権価値関数を組み合わせ、不確実性を考慮した多段階マニピュレーション計画での分布外検出に応用した。
原題: Flow-based Domain Randomization for Learning and Sequencing Robotic Skills ／ Aidan Curtis, Eric Li, Michael Noseworthy 他
日本語で読む → - 論文sim2realロボティクス
SkyRover: ドメイン横断型経路探索のためのモジュラーシミュレータ
UAVとAGVが協調するマルチエージェント経路探索(MAPF)のためのモジュラーシミュレータを提案し、地上と空中の運用を統合してアルゴリズム設計・テスト・ベンチマークを可能にした。
原題: SkyRover: A Modular Simulator for Cross-Domain Pathfinding ／ Wenhui Ma, Wenhao Li, Bo Jin 他
日本語で読む → - 論文sim2realロボティクス
視覚駆動型変形可能線状物体操作のための物体中心エージェント適応におけるReal2Sim2Realの分布的アプローチ
変形可能線状物体（DLO）の操作において、尤度フリー推論で物理パラメータの事後分布を推定し、ドメインランダム化を用いたシミュレーション訓練で物体固有の視覚運動ポリシーを学習、実世界でゼロショット展開する統合フレームワークを提案。
原題: A Distributional Treatment of Real2Sim2Real for Object-Centric Agent Adaptation in Vision-Driven Deformable Linear Object Manipulation ／ Georgios Kamaras, Subramanian Ramamoorthy
日本語で読む → - 論文sim2realロボティクス
ヒューマノイドの視覚ベース巧みな操作のためのSim-to-Real強化学習
ヒューマノイドロボットの視覚ベース両手巧みな操作を実現するSim-to-Real強化学習の実践的レシピを提案し、把持・持ち上げ・受け渡しタスクで高い成功率を示した。
原題: Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids ／ Toru Lin, Kartik Sachdev, Linxi Fan 他
日本語で読む → - 論文sim2realロボティクス
予測的レッドチーミング：ロボットを壊さずにポリシーを破る
生成画像編集とポリシー固有の異常検知器を用いて、視覚運動ポリシーの環境要因に対する脆弱性をハードウェア評価なしで予測するRoboARTを提案し、予測精度と的を絞ったデータ収集による性能向上を実証した。
原題: Predictive Red Teaming: Breaking Policies Without Breaking Robots ／ Anirudha Majumdar, Mohit Sharma, Dmitry Kalashnikov 他
日本語で読む → - 論文sim2realロボティクス
実世界のロボット強化学習応用を促進するシミュレーションパイプライン
シミュレーションと実機のギャップを段階的に埋める強化学習パイプラインを提案し、Boston Dynamics Spotの監視タスクで有効性を示した。
原題: A Simulation Pipeline to Facilitate Real-World Robotic Reinforcement Learning Applications ／ Jefferson Silveira, Joshua A. Marshall, Sidney N. Givigi
日本語で読む → - 論文sim2realロボティクス
COMPASS: 残差強化学習とスキル統合によるクロスエンボディメント移動ポリシー
単一のロボットの模倣学習デモのみから出発し、残差強化学習で適応させ、エンボディメント埋め込みで一般化ポリシーに蒸留することで、多様な機体にまたがる移動を実現した研究。
原題: COMPASS: Cross-embodiment Mobility Policy via Residual RL and Skill Synthesis ／ Wei Liu, Huihua Zhao, Chenran Li 他
日本語で読む → - 論文sim2realロボティクス
見るより感じろ：動作適応とインピーダンス制御による関節物体操作のsim-to-real RL
視覚入力への依存を減らし、観測履歴から物体の運動と特性を推定、インピーダンス制御を組み合わせることで、未見の関節物体を実世界で84%の成功率で操作できる強化学習パイプラインを提案。
原題: Watch Less, Feel More: Sim-to-Real RL for Generalizable Articulated Object Manipulation via Motion Adaptation and Impedance Control ／ Tan-Dzung Do, Nandiraju Gireesh, Jilong Wang 他
日本語で読む → - 論文sim2realロボティクス
Re$^3$Sim: 3DフォトリアルなReal-to-Simによる高忠実度シミュレーションデータ生成
実世界の3D再構成とニューラルレンダリングでフォトリアルなシミュレーション環境を構築し、模倣学習でロボット操作方策を訓練、ゼロショットで実機転移を実現した研究。
原題: Re$^3$Sim: Generating High-Fidelity Simulation Data via 3D-Photorealistic Real-to-Sim for Robotic Manipulation ／ Xiaoshen Han, Junqiu Yu, Minghuan Liu 他
日本語で読む → - 論文sim2realロボティクス
ASAP: シミュレーションと実世界物理の整合による俊敏なヒューマノイド全身スキルの学習
シミュレーションと実世界のダイナミクス差を補正する残差行動モデルを実機データから学習し、事前学習済みの運動追従方策を微調整することで、ヒューマノイドの俊敏な全身動作を実現する二段階フレームワークを提案した。
原題: ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills ／ Tairan He, Jiawei Gao, Wenli Xiao 他
日本語で読む → - 論文sim2realロボティクス
多様な姿勢からのヒューマノイド起立制御の学習
強化学習により、多様な姿勢から実機ヒューマノイドが滑らかに起立できる制御則を学習し、シミュレーションから実世界への転移を実現した。
原題: Learning Humanoid Standing-up Control across Diverse Postures ／ Tao Huang, Junli Ren, Huayi Wang 他
日本語で読む → - 論文sim2realロボティクス
シミュレーション誘導ファインチューニングによる実世界への迅速な適応
シミュレータで学習した価値関数を実世界の探索に活用し、少ない実データで巧みな操作タスクへ適応させる手法を提案。
原題: Rapidly Adapting Policies to the Real World via Simulation-Guided Fine-Tuning ／ Patrick Yin, Tyler Westenbroek, Simran Bagaria 他
日本語で読む → - 論文sim2realロボティクス
MuJoCo Playground：ロボット学習のためのオープンソースフレームワーク
MJX上に構築された完全オープンソースのロボット学習フレームワークで、単一GPUで数分以内に方策を訓練でき、四足歩行・ヒューマノイド・多指ハンド・ロボットアームなど多様なプラットフォームでゼロショットsim-to-real転移を実現する。
原題: MuJoCo Playground ／ Kevin Zakka, Baruch Tabanpour, Qiayuan Liao 他
日本語で読む → - 論文ドローン/経路計画/DRL/sim2realロボティクス
AgilePilot: 物体検出を活用した動的環境におけるリアルタイム経路計画のためのDRLベースドローンエージェント
深層強化学習とリアルタイム物体検出を組み合わせ、動的環境でドローンが安全かつ敏捷に飛行する経路計画手法を提案し、実機で90%の成功率を達成した。
原題: AgilePilot: DRL-Based Drone Agent for Real-Time Motion Planning in Dynamic Environments by Leveraging Object Detection ／ Roohan Ahmed Khan, Valerii Serpiva, Demetros Aschalew 他
日本語で読む → - 論文sim2real画像認識
KITTIのように合成せよ：運転シーンにおける物体検出のための合成データ生成
CARLAシミュレータでLiDAR点群の合成データを生成し、ドメインランダム化によりKITTIへの高い汎化性能を実現した。
原題: Synth It Like KITTI: Synthetic Data Generation for Object Detection in Driving Scenarios ／ Richard Marcus, Christian Vogel, Inga Jatzkowski 他
日本語で読む →