目線の動きを学習するVLM誘導Transformer-VAEによる表現豊かな視線ダイナミクス

本論文は、ヒューマノイドロボットが人間らしい視線運動を生成するための統合システムを提案する。 - 視線座標は eye, head, eyelid の連動運動を通じて注意を向ける。 - ロボットは「どこを見るか」と「どう動くか」を同時に決める必要がある。 - 固定追跡ルールでは人間の視線の時間構造をモデル化できない。 - 非同期 VLM が scene referent を選択し、reactive perception module が固視を維持する。 - Realistic Gaze Transformer (RGT) が目標条件付き運動を生成する。 - RGT は Transformer-VAE で、markerless 人間記録をロボットの 11-DoF 関節空間に retarget して学習。

先行研究と比べて、以下の点が優れている。 - 固定追跡ルールではなく、人間の視線の時間構造を学習する生成モデルを導入。 - 目標選択・固視維持・運動生成を非同期モジュールに分離。 - RGT は自己教師あり事前学習と自己回帰微調整を組み合わせ、rollout 中の自己予測に曝露。 - 2秒ベンチマークで RGT-Base が報告されている中で最低の overall seven-joint MSE を達成。 - 物理デモで統合 targeting と control pipeline を示す。

技術の肝は以下の通り。 - 非同期 VLM が scene referent を選択。 - reactive perception module が固視を維持。 - Realistic Gaze Transformer (RGT) は Transformer-VAE。 - markerless 人間記録をロボットの 11-DoF 関節空間に retarget。 - 自己教師あり事前学習で recent full-head history を符号化。 - 自己回帰微調整で rollout 中に自己予測を露出。 - 推論時、4次元 binocular-eye trajectory が neck と eye の協調運動を条件付ける。 - 補助 blink predictor が再生中に eyelid templates をトリガー。

有効性の検証は以下の方法で行われた。 - 2秒ベンチマークで全コントローラが同じ ground-truth target を受け取る設定。 - RGT-Base が報告されている中で最低の overall seven-joint MSE を獲得。 - 物理デモで統合 targeting と control pipeline を実演。 - ロボット空間の kinematic fidelity とリアルタイム RGT 推論を確立。 - 知覚される自然さと open-vocabulary target-selection accuracy は制御された評価の課題として残る。

議論点は以下の通り。 - 知覚される自然さ (perceived naturalness) は未評価。 - open-vocabulary target-selection accuracy も未評価。 - これらは制御された評価が必要な残された問い。 - その他の議論や限界は要旨からは不明。

次に読むべき論文は以下の通り。 - 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、gaze control、humanoid robot gaze、Transformer-VAE、VLM-guided robotics に関する論文が挙げられる。 - 具体的なタイトルは要旨からは不明。