EyeRobot 2.0：手首カメラなしで精密操作を可能にする能動的視線制御

単一の stereo camera のみで細かい bimanual manipulation を可能にするフレームワーク。 - 人間の視覚に着想を得た active gaze を導入。 - 2つの eye viewpoint を swivel させて 3D fixation point に視線を合わせる。 - 得られた画像を foveal に処理し、画像中心により多くの visual tokens を割り当てる。 - これを Active Visual Fixation (AVF) と呼ぶ。

wrist camera を不要にしつつ、passive stereo や ego + wrist camera の policy と比較して性能を向上。 - wrist camera を外すと標準 policy は real-world 成功率が 52% から 27% に低下。 - EyeRobot 2.0 は stereo のみで passive stereo を real で 40%、sim で 20% 上回る。 - wrist view が明確な場合の ego + wrist policy に匹敵 (69% vs. 64%)。 - 把持物体が wrist camera を遮る場合、成功率を2倍以上に (48% vs. 22%)。

階層的な gaze 制御と fixation を利用した表現。 - 低レベルの gaze servoing policy を goal object に条件付けて訓練。 - タスク進捗に基づき fixation goal を出す target selector を訓練。 - 両モジュールを real-world data で RL により訓練。 - 最初は dense geometric reward で訓練。 - 2つ目は BC gripper policy と共訓練し、人間に似た fixation sequence を発見。 - gripper 情報を fixation-relative SE(3) frame に canonicalize し、action distribution をコンパクト化。

7つの real-world タスクと6つの simulated タスクの teleoperation data を収集。 - 1000以上の physical と 1800の simulated robot trials を実施。 - EyeRobot 2.0 を passive stereo および ego + wrist camera policies と比較。 - 同一データで訓練した policy 間で評価。

wrist camera の除去が標準 policy に与える影響と、active gaze による補償を議論。 - occlusion 時の性能差が顕著。 - fixation に基づく SE(3) frame の有効性を示唆。 - 詳細な議論や限界は要旨からは不明。

要旨で参照/比較されている研究: passive stereo policies, ego + wrist camera policies, BC gripper policy。 - 関連手法: Active Visual Fixation (AVF), gaze servoing policy, target selector。 - 同分野の定番: bimanual manipulation, stereo vision, reinforcement learning (RL), behavior cloning (BC)。