日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

遠隔操作/データ収集arXiv:2611.24499

モバイルマニピュレータの単一コントローラ遠隔操作とマルチモーダルデータセット生成

Single-Controller Teleoperation and Multimodal Dataset Generation for a Mobile Manipulator

シェア:XThreadsFacebookLINEはてブBluesky

移動台車・アーム・記録を1つのコントローラで操作できる遠隔操作フレームワークと、ROSベースで画像品質フィルタリング・時刻同期・Zarr形式出力を自動化するデータ収集パイプラインを構築し、ピックアンドプレース作業で検証した論文。

詳しい要約

1. どんなもの?

- Clearpath Dingo-O の mobile base、Kinova Gen3 Lite manipulator、Intel RealSense RGB-D camera を組み合わせた mobile manipulator のための teleoperation と multimodal dataset 生成の統合フレームワーク。 - 単一コントローラで base・arm・記録プロセスを操作し、ROS ベースの自動パイプラインでデータ取得、画像品質フィルタリング、時間同期、可視化、Zarr 形式へのエクスポートを行う。 - pick-and-place の mobile-manipulation タスクで検証。

2. 先行研究と比べてどこがすごい?

- 従来は teleoperation インタフェースの分断と手動の後処理がデータ収集を遅くしていた。 - 本研究は単一コントローラによる base・arm・記録の統合操作と、自動 ROS パイプラインによる同期・品質管理・ML-ready な Zarr 出力を組み合わせる点が特徴。 - 具体的な先行研究との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- 単一コントローラで mobile base、manipulator、記録プロセスを一括操作。 - ROS ベースの自動パイプラインで data capture、image-quality filtering、temporal synchronization、visualization、Zarr dataset への export を実施。 - 破損した visual frame の検出も行う。

4. どうやって有効だと検証した?

- 2つの surface 間で bottle を運ぶ pick-and-place の mobile-manipulation タスクで検証。 - 統合コントローラが外部コマンドなしでタスク実行と記録を完遂できることを確認。 - パイプラインが短い demonstration に対して同期済み dataset を生成し、破損した visual frame を識別できることを示した。

5. 議論はある?

- 短い demonstration での同期 dataset 生成と破損 frame 検出は確認されたが、長い demonstration や多様なタスクへの拡張性は要旨からは不明。 - データ品質や学習性能への定量的影響、他システムとの比較は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として mobile manipulation の teleoperation、ROS ベースの data collection pipeline、Zarr 形式の robot learning dataset、pick-and-place の demonstration learning に関する文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fardien Azizi, Sitor Sla, Christiaan Peppelman, Dion van Santen, Andrei-Carlo Papuc, Khaled Mustafa, Diego Martinez-Baselga, Javier Alonso-Mora

分類: cs.RO

原文アブストラクト

Robot learning systems require synchronized, high-quality demonstrations that combine visual, proprioceptive, and action data. However, collecting such datasets with mobile manipulators is often slowed down by fragmented teleoperation interfaces and manual post-processing workflows. This paper presents an integrated framework for teleoperated multimodal data collection on a Clearpath Dingo-O mobile base equipped with a Kinova Gen3 Lite manipulator and an Intel RealSense RGB-D camera. The framework combines single-controller operation of the base, arm, and recording process with an automated ROS-based pipeline for data capture, image-quality filtering, temporal synchronization, visualization, and export to machine-learning-ready Zarr datasets. We validate the system on a pick-and-place mobile-manipulation task in which the robot transports a bottle between two surfaces. The results show that the unified controller supports complete task execution and recording without external commands, while the data pipeline produces synchronized datasets for short demonstrations and identifies corrupted visual frames. The proposed framework provides a practical basis for producing structured demonstrations for robot-learning research.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI