日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
オプティカルフローarXiv:2610.26690

基盤モデル駆動のオプティカルフロー

Foundation Model Driven Optical Flow

シェア:XThreadsFacebookLINEはてブBluesky

凍結したDINOv2とDepth Anything V2の特徴を融合し、学習可能なマッチングネットワークで高密度オプティカルフローを推定する手法を提案。SintelでEPE 2.37を達成。

詳しい要約

1. どんなもの?

- 凍結済みの事前学習済み視覚表現とdepth表現を、教師ありmatching networkと組み合わせてdense optical flowを推定する研究。 - TTSFlowを土台に、Dense Prediction Transformer (DPT)による特徴デコードと1段のcoarse-to-fine refinementを検討。 - 凍結したDINOv2とDepth Anything V2の特徴を融合し、学習可能なtransformerベースのmatching pipelineでoptical flowを推定する。 - パイプライン全体をFFlowとして公開。

2. 先行研究と比べてどこがすごい?

- 凍結foundation backboneを再利用しつつ、DPT特徴デコードと1段refinementで構成する点を特徴とする。 - Sintel training splitのFinal passでEPE 2.37を達成し、本論文で報告するFlowSeek (T)構成の2.52を上回る。 - RoCo-Spring 2026のentry RoCo-29.VSAIはrobustness-balanced score 1.1038、Spring EPE 1.411、RobustSpring proxy EPE 4.739を記録。 - 12個のreference baselineのうち7個より低いbalanced scoreを示す。

3. 技術・手法の肝は?

- 凍結したDINOv2とDepth Anything V2の特徴を融合する。 - DPTによるfeature decodingを採用する。 - 学習可能なtransformerベースのmatching pipelineでoptical flowを推定する。 - coarse-to-fine refinementを1段のみ行う構成。 - optical-flow学習はFlyingChairsとFlyingThings3Dで実施。

4. どうやって有効だと検証した?

- FlyingChairsとFlyingThings3Dでoptical-flow学習後、Sintel training splitのFinal passでEPE 2.37を報告。 - 比較として本論文で報告するFlowSeek (T)構成のEPE 2.52と対比。 - RoCo-Spring 2026 entry RoCo-29.VSAIとしてrobustness-balanced score 1.1038、Spring EPE 1.411、RobustSpring proxy EPE 4.739を報告。 - 12個のreference baselineとのbalanced score比較を実施。

5. 議論はある?

- 凍結foundation backboneの再利用と1段refinementで構成される完全なパイプラインの特性を議論。 - RoCo-29.VSAIのbalanced scoreは12個中7個のreference baselineより低い一方、残りとの関係や限界は要旨からは不明。 - 各コンポーネントの寄与やablation、失敗事例は要旨からは不明。

6. 次に読むべき論文は?

- TTSFlow(本研究の土台) - FlowSeek (T)(比較対象として報告) - DINOv2(凍結視覚backbone) - Depth Anything V2(凍結depth backbone) - Dense Prediction Transformer (DPT)(特徴デコード) - FlyingChairs / FlyingThings3D / Sintel(学習・評価データセット)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Praroop Chanda, Suryansh Kumar

分類: cs.CV, cs.RO

原文アブストラクト

We investigate how frozen pretrained visual and depth representations support dense optical flow when coupled with a supervised matching network. Building on TTSFlow, this paper studies Dense Prediction Transformer (DPT) feature decoding and one coarse-to-fine refinement stage. Our method fuses features from frozen DINOv2 and Depth Anything V2 models and estimates optical flow through a trainable transformer-based matching pipeline. After optical-flow training on FlyingChairs and FlyingThings3D, it achieves 2.37 endpoint error (EPE) on the Sintel training split, Final pass, compared with 2.52 for the FlowSeek (T) configuration reported here. Our RoCo-Spring 2026 entry, RoCo-29.VSAI, obtains a robustness-balanced score of 1.1038, Spring EPE of 1.411, and RobustSpring proxy EPE of 4.739, with a lower balanced score than seven of the twelve listed reference baselines. These results characterize the complete pipeline, which reuses frozen foundation backbones and performs one refinement stage. Code is available at: \url{https://github.com/Visual-and-Spatial-AI-Lab/FFlow}

関連論文

PR本紙発行元 EmplifAI