Jorge Salas
収録論文 1本 ・ フィジカルAI/ロボット学習
Transformer解釈性
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 位置型注意ヘッドと記号型注意ヘッド:学習ダイナミクス、RoPE幾何、長さ一般化Transformer解釈性2026/5/29
Transformerの注意ヘッドが位置推論と記号推論でどのように役割分担するかを、制御されたタスクで学習ダイナミクスを解析し、RoPEに基づく理論的構成と長さ一般化の差異を明らかにした論文。