Duy-Tung Pham

収録論文 1本 ・ フィジカルAI/ロボット学習

※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。

論文

• 自己注意におけるトークンの動的性質と位置エンコーディングの影響
  Transformer理論2025/11/25

  事前学習済みTransformerのトークンの連続時間極限のダイナミクスを解析し、トークンが収束・発散する条件を明らかにするとともに、絶対位置・回転位置エンコーディングの影響を調べ、収束を緩和するアーキテクチャ改善を提案した。