DigitCode: 解剖学的単位による手の動きの記号的トークン化

DigitCodeは、手の動きを解剖学的単位（bone, finger, whole hand）に基づいてシンボル化する新しいトークン化手法を提案する。従来の連続表現（joint anglesやMANO parameters）に代わり、Hand Labanotation (HL)のT x 40グリッドを拡張し、シンボルが指す解剖学的単位を適応・グループ化・階層化することで、量子化誤差を4分の3削減する。また、指単位のトークンは編集可能なハンドルとして機能し、生成された手の修復やロボットへのリターゲティングに利用できる。さらに、再現可能なテストベッドHandTokを公開し、手のトークナイザーの比較を可能にする。

先行研究では、手の動きの表現は連続値（joint angles, MANO）が主流で、構造化されておらず、指をシンボルとして索引・編集できない。HLは離散シンボル表現を提供するが、シンボルがまたがる解剖学的単位（bone, finger, whole hand）の選択が重要であるという問いを立てていない。DigitCodeは、この単位の階層を明示的に扱い、単位を変えることで精度が劇的に向上することを示した点が新しい。また、指単位のトークンが編集可能なハンドルとして機能することを実証し、連続表現では不可能なタスク（生成手の修復、ロボットへのリターゲティング）を可能にした。

手法の肝は、HLのアルファベットを手の単位階層（bone, finger, whole hand）に沿って適応・グループ化・階層化すること。具体的には、HLのT x 40グリッドを基に、シンボルが指す単位を変更できるようにする。単位を固定した場合、量子化器の種類（training-free vs learned）は再構成精度に影響しないが、解剖学的階層を下げる（bone→finger→whole hand）ことで精度が向上する。また、指単位のトークンは、各指が独立したシンボルとして扱えるため、編集可能なハンドルとして利用できる。

有効性の検証は、量子化誤差の削減（4分の3削減）を定量的に示すことで行った。また、単位を固定した場合の量子化器の比較実験により、単位が精度の主要因であることを示した。さらに、生成された手の修復とロボットへのリターゲティングという下流タスクで、指単位のトークンが有効に機能することを実証した。具体的なデータセットや評価指標は要旨からは不明だが、HandTokテストベッドを公開し、単位ごとの比較を可能にしている。

議論としては、解剖学的単位の選択が精度と下流タスクの両方に影響することが示されたが、単位の階層をさらに細かく（例えば、骨の一部）した場合の効果や、他の手の表現（例：SMPL-X）との比較は要旨からは不明。また、HandTokのテストベッドがどの程度の規模で、どのようなデータを含むかは不明。さらに、提案手法が実時間処理に適しているか、計算コストに関する議論も要旨にはない。

次に読むべき論文は、Hand Labanotation (HL)の原著論文、および手の連続表現であるMANOパラメータに関する論文。また、量子化器の比較に関連するVQ-VAEやVQGANなどの学習ベース量子化手法、および手の生成・リターゲティングに関する最近の研究（例：手の生成モデル、ロボットハンドの制御）が関連する。