日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
データ選択arXiv:2610.23642

ラベル不要の多様性:知覚と行動を横断するタスク非依存コアセット選択

Diversity Without Labels: Task-Agnostic Coreset Selection Across Perception and Action

シェア:XThreadsFacebookLINEはてブBluesky

視覚基盤モデルのニューロン活性化分布を画像ごと・データセット全体で比較し、ラベルやタスク知識なしに高品質なデータ部分集合(コアセット)を選ぶ手法CoreDNAを提案。分類・セグメンテーション・深度推定・運転やマニピュレーションの模倣学習で既存手法を上回る。

詳しい要約

1. どんなもの?

- 大規模データ集合から高品質な部分集合(coreset)を選ぶための、unsupervisedかつtask-agnosticな手法「CoreDNA」の提案。 - vision foundation modelのneuron activationsを画像ごと・データセット全体の分布として集約し、各画像の分布をデータセット分布と比較して選別する。 - 画像分類・semantic segmentation・depth estimation・imitation learning(end-to-end driving, mobile manipulation)にまたがって評価。

2. 先行研究と比べてどこがすごい?

- 既存のcoreset推定はproxy modelの学習、大量annotation、task-specificな調整を要することが多い。 - unsupervisedな代替手法はfoundation modelの特徴空間の幾何性質を使うが、pairwiseなimage-to-image比較や固定部分集合との比較に限られていた。 - CoreDNAは層をまたいだ分布比較によりlow-levelな視覚構造とhigh-levelな意味情報の両方を捉え、annotationやproxy学習なしでtask-agnosticに適用できる点が新しい。

3. 技術・手法の肝は?

- vision foundation modelのneuron activationsをpoolingし、per-image分布とper-dataset分布を構成。 - 各画像の分布をデータセットレベルの分布と比較することで、複数層にわたる特徴を反映したスコアを得る。 - 最終層のactivation統計の裾(tails)に高品質サンプルが集中するという観察に基づき、計算効率の良い選択機構を構築。 - この観察はtraining-based coreset手法との関係づけによって裏付けている。

4. どうやって有効だと検証した?

- 画像分類、semantic segmentation、depth estimation、end-to-end drivingおよびmobile manipulationのimitation learningで評価。 - 複数のperceptionタスクとactionタスクにわたり、state of the artと同等以上(matches or outperforms)の性能を報告。 - selective annotationとmodel trainingの両用途でcoresetを構成し、perceptionとactionをまたぐ汎化を示した。

5. 議論はある?

- 最終層activation統計の裾に高品質サンプルが集中するという経験的知見を提示し、training-based coreset手法との関連で解釈。 - compactなactivation-based表現がデータ選択に有効であることを主張。 - 限界や失敗ケース、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として明示されるtraining-based coreset手法(具体的名称は要旨からは不明)。 - foundation model特徴空間の幾何性質を用いるunsupervised coreset手法(pairwise比較型)。 - 関連する基盤としてvision foundation model(DINOv2等の一般名)やdata selection/active learningの定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Julia Hindel, Benjamin Ramtoula, Kyuhwan Yeon, Nick Heppert, Paul Newman, Daniele De Martini, Abhinav Valada

分類: cs.CV

原文アブストラクト

While data collection for model training is relatively easy, curating high-quality datasets from large collections is inherently challenging. Coreset estimation methods address this problem by identifying the best data subsets to train models on. However, existing approaches often require proxy model training, extensive annotations, or task-specific tailoring. Unsupervised alternatives typically exploit geometric properties in foundation model feature spaces, but are limited to pairwise image-to-image comparisons or comparisons against a fixed subset. We introduce CoreDNA, an unsupervised, task-agnostic coreset estimation approach that pools neuron activations from vision foundation models into per-image and per-dataset distributions. By comparing each image's distribution to the dataset-level distribution, CoreDNA can capture both low-level visual structure and high-level semantic information across layers. We find that high-quality samples concentrate in the tails of the last layer's activation statistics, which we validate by relating them to training-based coreset methods. Building on these findings, we develop a computationally efficient selection mechanism to construct task-agnostic, high-quality coresets for selective annotation and model training. Across image classification, semantic segmentation, depth estimation, and imitation learning for end-to-end driving and mobile manipulation, CoreDNA matches or outperforms the state of the art, demonstrating unprecedented generalization across perception and action tasks. These results highlight the effectiveness of compact activation-based representations for data selection.

関連論文

PR本紙発行元 EmplifAI