何が起きたか
研究チームは2026年7月29日、arXivで「ByDeWay-V2」を発表した。これは、MLLMの空間推論における物体幻覚を軽減し、説明可能性を高めるための訓練不要のフレームワークである。既存のLDP（Layered-Depth-Based Prompting）を拡張し、深度情報に加えて物体間の空間関係を構造化述語としてプロンプトに注入する。
詳細
ByDeWay-V2は、オープンボキャブラリ物体検出器（YOLO-World-L）を用いて、検出された物体間のペアワイズ幾何学的関係を計算し、それをMLLMのプロンプトに構造化された空間述語として注入する。これにより、3Dシーン深度と2D空間セマンティクスを橋渡しする。評価はVSR（Visual Spatial Reasoning）とBLINKベンチマークで行われ、幻覚の接地はPOPEで評価された。BLINKの空間サブセットでは、Qwen2.5-VLに対してLDP比で46%の相対F1改善を達成し、BLIP-BaseのVSR空間推論をほぼランダムな性能からF1 0.53まで回復させた。最も軽量な構成は、CPU上で40トークンのコンテキスト予算内で動作し、リソース制約のあるリアルタイム意思決定支援への適合性を示している。
Key Facts
| ByDeWay-V2は、MLLMの空間推論を改善する訓練不要のフレームワークである。 | [1] |
| BLINKの空間サブセットで、Qwen2.5-VLに対してLDP比で46%の相対F1改善を達成した。 | [1] |
| BLIP-BaseのVSR空間推論を、ほぼランダムな性能からF1 0.53まで回復させた。 | [1] |
| 最も軽量な構成は、CPU上で40トークンのコンテキスト予算内で動作する。 | [1] |
| YOLO-World-Lを用いて物体間のペアワイズ幾何学的関係を計算し、プロンプトに注入する。 | [1] |
本紙の見方
今回の発表は、MLLMの空間推論における説明可能性と資源効率を両立させる点で新規性がある。既存のLDPが深度レイヤリングのみで物体間の空間関係を捉えきれなかったのに対し、ByDeWay-V2は明示的な空間述語を導入することで、同一平面上の物体間の関係（左、上、内部、接触など）を解決しようとする。これは、ロボティクスや組込みAIなど、意思決定が重要なパイプラインでの信頼性向上に寄与する可能性がある。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、LDPの拡張として位置づけられる。LDPが深度情報を利用して幻覚を軽減したのに対し、V2はさらに空間関係を明示化することで、より細かい空間推論を可能にしている。 業界構造への含意としては、訓練不要である点が重要だ。MLLMのファインチューニングには多大な計算資源が必要だが、ByDeWay-V2は推論時にプロンプトを工夫するだけで精度を向上させるため、リソース制約のある環境での実用性が高い。また、CPU上で40トークンという軽量な構成で動作することは、エッジデバイスへの展開を後押しする。 未確定の論点としては、実環境でのロバスト性や、他のMLLMへの適用範囲が挙げられる。評価は特定のベンチマークに限られており、実際のロボティクスや安全監視タスクでの性能は未知数だ。また、YOLO-World-Lの検出精度が全体の性能にどの程度影響するかも検証が必要である。
なぜ重要か
MLLMの空間推論は、ロボティクスや自動運転などの意思決定に不可欠だが、幻覚や不透明さが課題だった。ByDeWay-V2は訓練不要で説明可能な空間推論を実現し、リソース制約のある環境でも利用できるため、実用化へのハードルを下げる。今後の展開次第では、MLLMの信頼性向上に寄与する可能性がある。