Thermo-VLA: 熱画像対応の視覚-言語-行動モデルとゲート付き残差変調によるロボットマニピュレーション

- Thermo-VLA は、ロボットマニピュレーション向けの thermal-aware な Vision-Language-Action (VLA) モデル。 - thermal 画像を単なる視覚入力として扱わず、温度に基づく関係推論を支援する。 - ThermoRes Encoder を中核とし、cold/hot 属性表現を RGB token に注入する。 - 言語条件付き residual modulation により、温度駆動の対象選択と連続操作を可能にする。 - dual-arm Unitree G1 上で6つの実世界タスクを構築し評価。

- 既存 VLA は thermal 画像を通常の視覚入力として扱うため、温度を考慮した関係推論の支援が限定的だった。 - Thermo-VLA は thermal を cold/hot 属性に分解し、RGB token へ residual modulation で注入する点が異なる。 - 4つの thermal 依存タスクで平均成功率 0.86 を達成。 - RGB-thermal 観測を直接入力する pi_0.5 baseline を 18 percentage points 上回った。 - 未見物体・シーン変化下でも平均 0.78 で比較手法中最高の汎化性能。

- ThermoRes Encoder が thermal 画像を cold 属性と hot 属性の表現に分解する。 - それらを language-conditioned residual modulation により RGB token へ注入する。 - これにより温度に基づく対象選択と連続的なマニピュレーションを実現する。 - 同じ residual modulation 機構を colour 属性にも転用可能。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

- dual-arm Unitree G1 プラットフォーム上で6つの実世界ロボットタスクを構築。 - タスクは基本的な grounding から関係推論までを包含。 - 4つの thermal 依存タスクで平均成功率 0.86 を記録。 - pi_0.5 baseline を 18 percentage points 上回った。 - 未見物体・シーン変化下で平均 0.78、比較手法中最高の汎化性能。 - colour 属性への転用でも simulation と実ロボットの両方で一貫した改善を観測。

- thermal を属性分解して RGB token に注入する設計の有効性が示唆される。 - residual modulation 機構が thermal 以外の属性 (colour) にも転用でき、汎用性の可能性を示す。 - 比較対象は pi_0.5 baseline など限定的で、他の VLA 手法との比較は要旨からは不明。 - 失敗事例や限界、計算コスト、thermal センサ依存性などの議論は要旨からは不明。

- pi_0.5 (要旨で直接比較されている RGB-thermal 入力の baseline)。 - 既存の thermal を通常視覚入力として扱う VLA 研究 (個別名は要旨からは不明)。 - language-conditioned residual modulation や attribute decomposition を用いる関連 VLA 研究。 - 同分野の定番として OpenVLA や RT-2 などの VLA モデル。