日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.32177

Ψ-0.6：統合視覚言語ワールドモデルにおける適応的思考ストリーム

$Ψ$-0.6: Adaptive Streams of Thought in a Unified Vision-Language World Model

シェア:XThreadsFacebookLINEはてブBluesky

知覚・言語・幾何・シミュレーションを共有トークン上で柔軟に組み合わせて推論する統合視覚言語ワールドモデルを提案し、多視点空間推論や反事実シミュレーションで性能向上を示した。

詳しい要約

1. どんなもの？

- 統合 vision-language world model「$Ψ$-0.6」の提案 - 知覚・言語・幾何・シミュレーションを単一の推論過程で適応的に組み合わせる - その推論過程を streams of thought と呼ぶ - streams of thought の特徴 - 画像・テキスト・幾何/運動の明示表現を交互に並べる - 共有 token interface を通じて生成・解釈する - 物理世界の推論を、問題の進行に応じて推論形式を切り替えながら行うことを狙う

2. 先行研究と比べてどこがすごい？

- 従来は能力が specialized models に分断され、組み合わせや共同適応が制限されていた - $Ψ$-0.6 は単一モデル内で複数の推論形式を共有 interface で統合 - multi-view spatial reasoning で leading open-weight models を zero-shot で上回る - 幾何的中間表現を介した推論で更なる改善 - counterfactual simulation を生成・解釈の両面で支援 - RL from task feedback による改善が unseen benchmarks に転移

3. 技術・手法の肝は？

- 共有 token interface 上で画像・テキスト・幾何/運動表現を interleave する streams of thought - モデル自身が中間表現を生成し解釈する仕組み - 幾何的中間表現を介した推論の組み込み - counterfactual simulation の生成と解釈 - RL from task feedback により中間表現の選択・生成・利用を jointly optimize

4. どうやって有効だと検証した？

- multi-view spatial reasoning で leading open-weight models と zero-shot 比較 - 幾何的中間表現を介する推論による追加改善を評価 - counterfactual simulation の生成・解釈を例示（物体移動が経路を妨げるか等） - RL from task feedback 後の visual question-answering 精度と unseen benchmarks への転移を評価

5. 議論はある？

- 物理世界の予測だけでなく、推論に用いる表現の選択も行う適応的 physical reasoning への道筋を示す - 具体的な限界・失敗事例・計算コスト・データ要件は要旨からは不明 - 評価範囲や RL の詳細設定は要旨からは不明

6. 次に読むべき論文は？

- leading open-weight models との比較対象（具体名は要旨からは不明） - streams of thought に関連する chain-of-thought / multimodal interleaved reasoning 系研究 - world model と counterfactual simulation に関する研究 - RL from task feedback を用いた推論最適化研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Khai Loong Aw, Klemen Kotar, Baihan Zhang, Yifan Liu, Lilian Chen, Atlas Kazemian, Rahul Venkatesh, Daniel Yamins

分類: cs.AI, cs.CV, cs.LG

原文アブストラクト

Humans reason about the physical world by flexibly combining different forms of inference as a problem unfolds. Achieving this flexibility is a major open challenge in AI: capabilities often remain separated across specialized models, limiting how they can be composed and jointly adapted to a task. We introduce $Ψ$-0.6, a unified vision-language world model that adaptively composes perception, language, geometry, and simulation within a shared reasoning process we call streams of thought. These streams interleave images, text, and explicit representations of geometry and motion, all of which the model can generate and interpret through a shared token interface. $Ψ$-0.6 surpasses leading open-weight models zero-shot on multi-view spatial reasoning, with further gains from reasoning through geometric intermediates. It also supports counterfactual simulation: generating and interpreting imagined scenes to determine, for example, whether moving an object would obstruct a pathway. Reinforcement learning from task feedback jointly optimizes the selection, generation, and use of intermediate representations, improving visual question-answering accuracy with gains that transfer to unseen benchmarks. $Ψ$-0.6 offers a path toward adaptive physical reasoning -- not only predicting the physical world but also choosing the representations through which to reason.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI