Thinker-WM: 身体性知能のための共有マルチモーダル表現を持つ統合世界モデル

- Thinker-WMは、embodied AI向けの統合multimodal world model。 - RGB、metric depth、robot actionを共通のintermediate表現で jointly にモデル化・生成。 - 共有のUnified Dynamics Transformerとmodality-specific encoders/decodersで構成。 - 単一パラメータでjoint video-action generation、world prediction、policy inference、action-conditioned generation、video-to-action generation、inverse dynamicsをサポート。

- 既存のworld modelはmodalityや機能がfragmentedで、visual dynamics・geometry・actionを別interfaceやdownstream moduleで結合。 - Thinker-WMはrepresentation levelでmultimodal unificationを実現し、appearance・geometry・actionを共通dynamic representationに変換。 - 共有パラメータでjointly evolveしつつ、各出力構造を保持。 - 単一parameterizationで多機能を実現する点が先行研究と異なる。

- 共有intermediate Unified Dynamics Transformerが核。 - modality-specific encodersでRGB・metric depth・actionを共通dynamic representationへ変換。 - 共有パラメータでjointly evolveし、modality-specific decodersで各出力を生成。 - 軽量motion probeを導入し、frozen visual representationにaction関連motion情報が含まれるか検証。

- 約20K時間のegocentric video、10K時間のreal-robot data、1K時間のsimulation dataで学習。 - うち約4K時間のreal-robot dataにはaligned depth supervision。 - EWMBench、WorldOlympiad、WorldArenaで1位を獲得。 - controlled studiesでaction conditioning、geometric interaction、multi-function trainingの利点を確認。

- 共有representationがaction関連情報を捉えるかをmotion probeで検証。 - frozen visual representationにrecoverable motion informationが含まれることを示す。 - action conditioning、geometric interaction、multi-function trainingの利点をcontrolled studiesで議論。 - その他の限界や議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてworld model、video-action generation、policy inference、inverse dynamics、EWMBench、WorldOlympiad、WorldArenaが挙げられる。 - 同分野の定番としてDreamer、World Models、VideoGPT、Diffuserなどが考えられるが、要旨に記載はない。