ロボットビジョン2026/9/15arXiv:2609.16637

知識転移パラメータは学習可能か？効率的なロボットビジョンのためのLePoKet

Can Knowledge Transfer Parameters Be Learned? LePoKet for Efficient Robotic Vision

知識継承を順伝播に組み込み、転移パラメータを子ネットワークと同時最適化するLePoKetを提案し、CIFARやオプティカルフロー推定で精度向上を実証した。

詳しい要約

1. どんなもの？

- ロボティクス向けの効率的な知覚を目的とした、知識転移のパラメータを学習可能にする構造的転移フレームワーク LePoKet を提案する研究。 - Hereditary Knowledge Transfer (HKT) を基盤とし、知識継承を順伝播計算に直接埋め込む。 - 認識タスク (CIFAR-10/100, ResNet) と密な動き推定 (RAFT ベースの optical flow) の両方で評価。

2. 先行研究と比べてどこがすごい？

- 既存の知識転移は固定の蒸留目的関数や手設計の相互作用機構に依存することが多い。 - LePoKet は補助的な蒸留損失や temperature scaling を必要とせず、相互作用パラメータを子ネットワークと共に最適化する。 - HKT との直接比較で CIFAR-10 精度を 92.40% から 93.40% に改善し、Sintel Final と KITTI で評価した compact transfer 変種中で最良の誤差を達成。

3. 技術・手法の肝は？

- ブロック単位の Extract-Transform-Mix インターフェースを導入し、知識継承を順伝播に埋め込む。 - 相互作用パラメータを Learnable Genetic Attention (LGA) 演算子により子ネットワークと同時に最適化。 - 蒸留損失や temperature scaling を不要にし、構造的転移を学習可能にする点が肝。

4. どうやって有効だと検証した？

- CIFAR-10 と CIFAR-100 で ResNet の親子ペアを用い、標準の子訓練に対して相対誤差をそれぞれ 24.57% と 25.1% 削減。 - FlyingChairs と FlyingThings3D のみで訓練した compact RAFT ベース optical flow モデルに統合し、Sintel Clean で EPE 2.21→1.92、Sintel Final で 3.35→3.01、KITTI で 7.51→6.39 に改善。 - HKT との直接比較も実施。

5. 議論はある？

- 学習可能な構造的転移が認識と動き知覚のタスクをまたいで汎化することを示す。 - 効率的なロボティクス視覚への有望なアプローチと位置づける。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- Hereditary Knowledge Transfer (HKT) - RAFT - ResNet - CIFAR-10 / CIFAR-100 - FlyingChairs / FlyingThings3D - Sintel / KITTI

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanick C. Tchenko, Felix Mohr, Hicham Hadj-Abdelkader, Hedi Tabia

分類: cs.CV, cs.LG

原文アブストラクト

Efficient perception is central to robotic systems operating under constrained computation, memory, and latency budgets. Knowledge transfer from larger pretrained models offers a practical route to stronger compact perception networks, but existing approaches commonly rely on fixed distillation objectives or manually designed interaction mechanisms. Building on Hereditary Knowledge Transfer (HKT), we propose LePoKet (Learnable Parameter Optimization for Knowledge Transfer), a structural transfer framework that embeds knowledge inheritance directly into the forward computation. LePoKet introduces a block-wise Extract-Transform-Mix interface whose interaction parameters are optimized jointly with the child network through a Learnable Genetic Attention (LGA) operator, without auxiliary distillation losses or temperature scaling. We first characterize the mechanism on CIFAR-10 and CIFAR-100 using ResNet parent-child pairs, obtaining relative error reductions of 24.57% and 25.1%, respectively, over standard child training. We then evaluate LePoKet for dense motion estimation by integrating it into a compact RAFT-based optical-flow model trained only on FlyingChairs and FlyingThings3D. LePoKet improves the compact RAFT baseline from 2.21 to 1.92 EPE on Sintel Clean, from 3.35 to 3.01 on Sintel Final, and from 7.51 to 6.39 on KITTI. A direct comparison with HKT further shows that LePoKet improves CIFAR-10 accuracy from 92.40% to 93.40% while achieving the best Sintel Final and KITTI errors among the evaluated compact transfer variants, with comparable performance on Sintel Clean. These results demonstrate that learnable structural transfer generalizes across recognition and motion perception tasks and provides a promising approach for efficient robotic vision.

arXivで原文を読む →arXiv概要ページ