日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.20137

Cleanly-DINO: ロボティクス向け視覚タスク空間の効率的学習

Cleanly-DINO: Efficiently Learning Visual Task Spaces for Robotics

シェア:XThreadsFacebookLINEはてブBluesky

少数の実演から視覚的なタスク空間を学習し、清掃タスクの進捗評価や報酬信号としてロボット学習に活用する手法を提案した論文。

詳しい要約

1. どんなもの?

- ロボットによる清掃(cleaning)タスクのための視覚的タスク空間を、少数のデモンストレーションから学習する手法 Cleanly-DINO の提案。 - タスク関連領域の mask と frozen ViT features を入力とし、タスク空間を分離する projection と進行度を測る progression metric を学習。 - 物体 pose ではなく視覚状態の変化で定義されるタスク(清掃など)の表現獲得を狙う。

2. 先行研究と比べてどこがすごい?

- 従来は剛体操作のように物体 pose の変化でタスクを抽象化するのが主流だが、清掃は視覚状態の変化で定義され表現選択が不明瞭だった。 - 本手法は pose に依らず、少数デモから視覚的タスク空間を直接学習する点が異なる。 - 具体的な先行研究名や定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- タスク関連領域の mask と frozen ViT features を利用。 - projection を fit してタスク空間を分離し、その空間上に progression metric を fit。 - 多様な清掃例でモデルを訓練する構成。

4. どうやって有効だと検証した?

- 未完了タスク領域の localize 能力と、視覚ドメイン間の transfer を評価。 - reinforcement learning 設定で observation encoder および reward signal としての有用性を検討。 - 実世界のロボット wiping pipeline に組み込み、タスク実行の誘導における有効性を評価。

5. 議論はある?

- 要旨からは不明(具体的な限界や議論の詳細は記述されていない)。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として frozen ViT features を用いる視覚表現学習、mask ベースのタスク空間学習、RL における reward signal 設計、実世界 wiping に関する研究が候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adrian Röfer, Melika Shekarriz, José Arce y de la Borbolla, Iman Nematollahi, Abhinav Valada

分類: cs.RO, cs.LG

原文アブストラクト

Learning manipulation tasks from few demonstrations requires abstractions that capture the changes relevant to task completion, such as object poses in rigid-body manipulation. However, tasks such as cleaning are defined by changes in visual state rather than object pose, making the choice of task representation less clear. In this work, we propose Cleanly-DINO to learn visual task spaces from few demonstrations. Given a mask of a task-relevant region and frozen ViT features, Cleanly-DINO fits a projection to isolate a task space and fit a progression metric to it. We train the model on diverse cleaning examples and evaluate its ability to localize incomplete task regions and transfer across visual domains. We also study its utility for robot learning by using it as an observation encoder and reward signal in a reinforcement learning setting. Finally, we deploy our fitted model within a real-world robotic wiping pipeline to evaluate its use in guiding task execution.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI