スクリューアテンション：Transformer内部に剛体代数を組み込む

- Transformer layer の新手法「Screw Attention」を提案。 - 各 token を pose を持つ body とし、token 間の関係を graph edge ではなく spatial transform として扱う。 - 各 token ペアは relative pose と、robot joint の場合は joint screw を持つ。 - message はこの関係に沿って receiver の frame に輸送され、attention score は frame-invariant な量のみを見る。 - 構成上、各 token での独立な frame 変更に対して message が equivariant で、単一層で rigid-body mechanics の velocity recursion を表現できる。

- 学習された manipulation policy は rigid-body mechanics が閉形式で与える spatial relation をデータから再発見しており、データコストと幾何変化への脆弱性がある。 - Screw Attention は relation を spatial transform として組み込む。 - 同サイズの graph、transformer、flat network と比較して同等以上。 - 16,162 パラメータで LIBERO-Spatial の 97.3% を達成し、27 倍のパラメータを持つ flat network を上回る。 - per-link frame convention 変更下でも成功率が不変で、他の学習ネットワークは 3% 未満に低下。 - analytic controller への gated residual として挿入すると insertion 成功率が 17.3 ポイント向上。

- Transformer layer 内で、2 body 間の関係を spatial transform として表現。 - 各 token は pose を持つ body。 - token ペアごとに relative pose と、robot joint の場合は joint screw を保持。 - message を relation に沿って receiver の frame に輸送。 - attention score は frame-invariant な量のみを参照。 - 構成上、各 token での独立な frame 変更に対して message が equivariant。 - 単一層で rigid-body mechanics の velocity recursion を表現可能。

- シミュレーション manipulation タスクで検証。 - LIBERO-Spatial において graph、transformer、flat network と比較。 - 16,162 パラメータで 97.3% を達成（画像・言語なし、object pose から）。 - per-link frame convention 変更下で成功率不変、他の学習ネットワークは 3% 未満。 - analytic controller への gated residual として insertion 成功率が 17.3 ポイント向上。 - pose noise 10mm までと、Franka arm の factory calibration 内の joint offset の影響を受けない。

- 結果から「geometry は、システムの他の部分が供給しない frame 間の関係をタスクが要求するときに決定的である」という基準を提案。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究：graph、transformer、flat network、LIBERO-Spatial、analytic controller、Franka arm。 - 関連手法として rigid-body mechanics、screw theory、equivariant transformer が挙げられる。 - 具体的な論文名は要旨からは不明。