VLAにテスト時学習を導入、人の実演に基づく目標選択は一貫して改善せず

何が起きたか

arXiv掲載論文「TTT in VLA Models: Exploring Training with Human Demonstrations」は2026年10月23日、人の実演を使った行動生成にテスト時学習（TTT）を組み込んだ実験を報告した。対象はInternVLA-A1とPi0.5で、実演に基づく目標選択が改善するかを検証した。

詳細

研究では、人の実演とロボットの軌跡を組み合わせた学習を行い、二つの学習段階の間でメモリーを移す方式と、時間方向を区切った逆伝播を実装した。動画、短い動画、単一フレームの手掛かりを使う課題で、学習目的、勾配が届く範囲、対照学習による正則化も検討した。 報告によると、実演とロボット軌跡を組み合わせた学習を加えても、実験した規模では、実演に基づく目標選択の一貫した改善は得られなかった。短い系列、軌跡全体への勾配接続、対照正則化も、実演への応答性を明確には高めなかった。単一フレームの手掛かりを使った実機実行では、カップが固定位置にある場合にその位置のカップを選ぶ傾向が残った。

Key Facts

本紙の見方

この研究で焦点となるのは、TTTをVLAモデルに加えること自体よりも、過去情報を保持する仕組みが、人の実演を手掛かりにした目標選択へ結びつくかを、異なる手掛かりの粒度で試した点だ。動画、短い動画、単一フレームを分けて評価しており、長い文脈の保持と、実演を読み取って対象を選ぶ能力を同じものとして扱っていない。報告された結果は、少なくとも検証した設定では、両者を接続するだけで目標選択が安定するわけではないことを示す。 結果の読み分けも重要だ。短い系列、軌跡全体への勾配接続、対照正則化のいずれも、実演への応答性を明確に高めなかった。したがって、系列を短くする、学習時の勾配経路を広げる、対照学習を加えるといった個別の設計変更を、実演追従を解決する手段として一般化する根拠にはならない。一方、論文は「一貫した改善」や「明確な改善」がなかったと報告しており、すべての条件で効果がなかったとまでは言っていない。 実機で単一フレームの手掛かりを与えた際、カップが固定位置にある場合にその位置を選ぶ傾向が残ったことは、視覚的な手掛かりへの応答と、対象そのものを選び分ける能力を別々に測る必要性を示す。位置を変えた条件でも選択が保たれるか、実演の内容を変えたときに行動が追従するかを確認しなければ、実演を利用した結果なのか、既知の位置への反応なのかを区別しにくい。これは本研究の報告から導ける評価上の論点であり、モデルの一般的な能力を断定するものではない。 また、対象モデルはInternVLA-A1とPi0.5に限られ、概要には学習データ量、成功率、試行数、実機で用いた配置条件の詳細や、実験規模の具体値は示されていない。次に確認すべきなのは、位置や対象を変えた評価で実演への応答が再現するか、また異なる規模やモデルでも同じ傾向が出るかだ。こうした条件が明らかにならない限り、TTTを実演追従に有効な構成要素として位置づける範囲は限定される。

なぜ重要か

論文の実験では、TTTを加えても、検証した条件で人の実演に基づく目標選択が一貫して改善するとは確認できなかった。ロボットの実演学習を評価する際は、文脈を保持できるかだけでなく、対象や位置を変えた条件で実演の内容に応じて選択が変わるかを切り分けて見る必要がある。