3D再構築2026/8/5arXiv:2608.04842v1

RORA: 関節動作を伴う現実的な物体再構築

RORA: Realistic Object Reconstruction with Articulation

単一の静的物体ビデオから、正確な関節動作を持つシミュレーション用アセットを再構築する初のエンドツーエンドパイプラインを提案。3Dガウシアンとメッシュを組み合わせたハイブリッド表現と、ユーザー介入による関節軸の自動提案で高精度な再構築を実現。

詳しい要約

1. どんなもの？

本論文は、単一の静的物体ビデオ入力から、正確な関節構造を持つシミュレーション用アセットを再構成する、初のエンドツーエンドパイプライン「RORA」を提案する。提案手法は、3D Gaussian Splatting (3DGS)によるフォトリアルなレンダリングと、物理的相互作用のためのメッシュベースのジオメトリを組み合わせたハイブリッド表現を出力する。再構成プロセスでは、凸分解とユーザーによるグループ化による直感的なパーツ分割を行い、対応するメッシュパーツに3D Gaussiansをバインドする。さらに、局所境界ジオメトリから候補関節軸を計算し、ユーザーに提示するAutomatic Joint Suggestion Algorithmを導入することで、効率的な関節付きアセット再構成を実現する。

2. 先行研究と比べてどこがすごい？

既存のモーショントラッキングや学習ベースの関節推定手法は、複数の関節を持つ複雑なキネマティック構造に対して成功率が低く、物体の動的モーションのスキャンが必要であり、再構成プロセスが複雑になる。一方、RORAは単一の静的ビデオ入力のみを必要とし、人間の提案に基づくループプロセスを採用することで、複雑な構造でも正確な関節再構成を可能にしている。また、3DGSとメッシュのハイブリッド表現により、視覚的品質と物理的相互作用の両方を両立している点が新しい。

3. 技術・手法の肝は？

手法の核は、(1) 凸分解とユーザーグループ化によるパーツ分割、(2) 3D Gaussiansをメッシュパーツにバインドするハイブリッド表現、(3) 局所境界ジオメトリから候補関節軸を計算するAutomatic Joint Suggestion Algorithm、の3点である。パイプラインは、静的ビデオから3DGSとメッシュを再構成し、ユーザーがパーツをグループ化して関節を指定する。関節軸はアルゴリズムが提案し、ユーザーが確認・修正することで正確な関節構造を得る。

4. どうやって有効だと検証した？

PartNet-Mobility-v0データセットと実物体を用いて、関節再構成の精度を検証した。さらに、再構成したアセットをUnreal EngineとNVIDIA Isaac Simに展開し、リアルタイムの器用な手操作タスクを実演することで、ロボット学習への応用可能性を示した。

5. 議論はある？

要旨からは、提案手法の限界や課題についての議論は不明である。ただし、ユーザーによるグループ化と関節提案の確認が必要なため、完全自動化ではない点や、複雑な関節構造や変形物体への適用可能性などが議論の余地として考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、NeRF、3D Gaussian Splatting (3DGS)、PartNet-Mobilityデータセット、Unreal Engine、NVIDIA Isaac Simが挙げられる。また、関節再構成の既存手法として、モーショントラッキングや学習ベースの手法が関連する。次に読むべき論文としては、3DGSの元論文やPartNet-Mobilityデータセットの論文、および関節推定の既存手法の論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyesung Lee, Youngseon Lee, Kyutae Lee, Dongjun Lee, Yongseok Lee

分類: cs.RO, cs.GR

原文アブストラクト

Replicating real-world environments into simulation by realistic visual representation like NeRF and 3D Gaussian Splatting (3DGS) has emerged as an effective strategy to reduce the sim-to-real gap in robot learning. However, implementing object articulation during the real-to-sim process is still a challenging task. Existing motion tracking or learning based articulation methods shows low success rates on complex kinematic structures having multiple joints. Furthermore, those methods require scan of dynamic motion of objects, which makes reconstruction process much complicated. In this work, we propose the first end-to-end pipeline that reconstructs simulation-ready assets with accurate articulation from a single static object video input through suggestion based human-in-the-loop process. Our approach exports a hybrid representation combining 3DGS for photorealistic rendering and mesh-based geometry for physical interaction. In the reconstruction process, our pipeline performs convex decomposition followed by user grouping for intuitive part segmentation, subsequently binding 3D Gaussians to the corresponding mesh parts. An Automatic Joint Suggestion Algorithm then calculates candidate joint axes from local boundary geometries and presents them to users for efficient articulated asset reconstruction. We have shown that our method achieves precise articulation results on partnet-mobility-v0 dataset and real objects. Additionally we presented a potential usage of our framework on robot learning, deploying the reconstructed assets in Unreal Engine and NVIDIA Isaac Sim, demonstrating real-time dexterous hand manipulation tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧