日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2611.26165

StreamEgo: 三人称から一人称へのストリーミング動画生成

StreamEgo: Streaming Exocentric-to-Egocentric Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

三人称視点の動画を一人称視点へリアルタイム変換するフレームワーク。二重分岐事前分布と領域認識型学習で操作領域の品質と汎化性を高め、単一GPUで24.3FPSのストリーミング生成を実現した。

詳しい要約

1. どんなもの?

- 三人称視点の映像を一人称視点へ変換する Exo2Ego 映像生成を、リアルタイム・無長さ制限で行うフレームワーク StreamEgo の提案。 - AR/VR 体験や embodied robotics 向けの実演データ合成への応用を狙う。 - 単一 H100 GPU 上で 24.3 FPS のストリーミング生成を実現すると主張。

2. 先行研究と比べてどこがすごい?

- 既存 Exo2Ego 手法の課題として、manipulation 領域の劣化、過学習、固定長クリップへの制約、高いレイテンシを挙げる。 - StreamEgo はこれらに対し、無長さ(unbounded)かつ汎化可能なリアルタイム生成を目指す点が差分。 - 具体的な先行研究名や定量比較は要旨からは不明。

3. 技術・手法の肝は?

- streaming dual-branch prior により、appearance と skeletal kinematics の変換に対し pixel-aligned な guidance を与える。 - region-aware loss curriculum を導入し、汎化性能の向上と多目的 diffusion 学習の安定化を図る。 - モデルを chunk-wise autoregressive model へ distill し、region-aware corruption mechanism と first-chunk curriculum を追加。

4. どうやって有効だと検証した?

- 単一 H100 GPU 上で 24.3 FPS のリアルタイム streaming Exo2Ego 生成を達成したと報告。 - 品質・汎化性・リアルタイム性の評価指標やデータセット、比較手法の詳細は要旨からは不明。

5. 議論はある?

- manipulation 領域の劣化や過学習、固定長クリップ制約、レイテンシといった既存課題への対処を主張。 - 限界や失敗ケース、計算資源依存性、汎化範囲についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Exo2Ego 映像生成、diffusion model、autoregressive video generation、model distillation の代表的文献を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Xu, Boyang Lyu, Yunkai Tang, Kairan Ding, Jiahang Li, Weiyu Guo, Yandong Guo, Shuchen Weng, Boxin Shi

分類: cs.CV

原文アブストラクト

Exocentric-to-egocentric (Exo2Ego) video generation transforms third-person recordings into first-person viewpoints, unlocking immersive AR/VR experiences and scalable demonstration synthesis for embodied robotics. Extending it to a streaming setting is expected to further enable live applications. However, existing methods suffer from degraded manipulation regions, overfitting and confinement to fixed-length clips with prohibitive latency. To address these limitations, we present StreamEgo, a real-time framework for unbounded, generalizable Exo2Ego video generation. To resolve intricate manipulation dynamics while supporting the streaming pipeline, a streaming dual-branch prior provides pixel-aligned guidance for translating appearance and skeletal kinematics. We also introduce a region-aware loss curriculum to improve generalization and stabilize multi-objective diffusion training. Furthermore, we distill the model into a chunk-wise autoregressive model, augmented with a region-aware corruption mechanism and a first-chunk curriculum, enabling high-quality, generalizable real-time streaming Exo2Ego generation at 24.3 FPS on a single H100 GPU.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI