不確実性を考慮した物理法則に基づく人間世界モデルへ向けて

- 人間の身体状態への belief と将来予測の dynamics model からなる human world model を目指す position paper - 既存の2手法がこの2つの半分に対応すると主張 - KNOWN [1]: 3D human body を再構成し aleatoric/epistemic uncertainty をリアルタイム推定 - PhysMoP [2]: learned dynamics terms 付き Euler-Lagrange equations で将来の body configuration を予測 - 両者の interface を定義し評価プロトコルを提示 - 新しい実験結果は報告していない

- 身体状態の belief と dynamics を別々に扱いがちな従来の human world model に対し、公開済み2手法で両半分を構成できると論じる点が新しい - KNOWN は aleatoric/epistemic uncertainty をリアルタイム(11.6 ms/frame)で推定し、epistemic term 駆動の refinement で低密度領域入力の誤差を 81.3 mm から 70.3 mm に低減 - PhysMoP は Euler-Lagrange equations に learned dynamics terms を組み込み、80 ms 先の予測誤差を Human3.6M で 9.6→2.1 mm、3DPW で 12.1→0.7 mm に低減 - これらを uncertainty を介して結合する点が差分

- KNOWN の uncertainty を PhysMoP に流入させる3つの機構を提案 - 3機構の具体的内容は要旨からは不明 - 両者の interface を定義 - KNOWN: aleatoric term で信頼できない観測を同定、epistemic term で訓練データの低密度領域からの入力を同定、epistemic 駆動の refinement を実施 - PhysMoP: body の Euler-Lagrange equations を learned dynamics terms とともに解いて将来の body configuration を予測 - in-the-wild video 上の評価プロトコルを規定

- 本稿自体は新しい実験結果を報告していない - 構成要素の有効性は既存報告に依拠 - KNOWN: リアルタイム性 11.6 ms/frame、epistemic refinement による誤差 81.3→70.3 mm - PhysMoP: 80 ms 予測誤差が Human3.6M で 9.6→2.1 mm、3DPW で 12.1→0.7 mm - 結合系の検証は in-the-wild video 上の評価プロトコルとして提案されるのみで、結果は要旨からは不明

- 結合の interface と uncertainty 流入機構は提案段階であり、実証的裏付けは要旨からは不明 - in-the-wild video での評価プロトコルは規定されているが結果は未報告 - aleatoric と epistemic のどちらがどの機構に効くかの切り分けは要旨からは不明 - 結合後の計算コストやリアルタイム性は要旨からは不明

- KNOWN [1](3D human body reconstruction と aleatoric/epistemic uncertainty 推定) - PhysMoP [2](Euler-Lagrange equations と learned dynamics terms による body configuration 予測) - 評価データセットとして Human3.6M、3DPW - 関連する定番として human mesh recovery や physics-based human motion prediction の文献