点群動画/解釈性2026/10/29arXiv:2610.39147

運動か形状かを切り分けるブラックボックス帰属手法

Kinematic Causal Attribution: Black-Box Explanations of Motion versus Geometry for 4D Point-Cloud Video Models

4D点群動画モデルが運動と形状のどちらに依存しているかを、モデル出力のみを使って事後的に切り分けるブラックボックス介入型帰属手法KCAを提案し、複数のバックボーンで有効性を検証した。

詳しい要約

1. どんなもの？

- 4D point-cloud video モデル（3D point-cloud の時系列を分類）の判断根拠を、black-box のまま検査する手法 KCA の提案。 - 実運用（robot、assistive monitoring、AR）前に、モデルが「部位の動き（motion）」と「形状（geometry）」のどちらに依拠しているかを確認できない問題に対処。 - モデル出力のみを問い合わせる interventional attribution で、tracked region ごとに motion×geometry の cube を構成。 - 対象は PSTNet、P4Transformer、Mamba4D など 4D 知覚 backbone。

2. 先行研究と比べてどこがすごい？

- 既存の 3D attribution は single-frame、video attribution は RGB pixel 限定、gradient map は white-box 前提、attention は state-space backbone に存在しない。 - point-level perturbation は実 depth/LiDAR に無い frame 間 point correspondence を仮定する。 - KCA は black-box かつ correspondence 不要で、motion と geometry を分離して測れる点が新しい。 - 単一の attribution map では作れない motion/geometry の区別を可能にする。

3. 技術・手法の肝は？

- freeze operator で領域の motion を除き shape を保持、shape-free proxy で shape を除き motion を保持。 - 両者で tracked region ごとの motion×geometry cube を張り、order-symmetric な Shapley decomposition で完全分解、interaction を仮定せず実測。 - 演算子は per-frame point set を書き換えるため correspondence 不要。 - context-averaged estimator で複数 region にまたがる構造を扱う。

4. どうやって有効だと検証した？

- 公式 PSTNet、P4Transformer、Mamba4D を MSR-Action3D で学習して検証。 - 同一腕の motion のみ/ shape のみが異なる実 clip から二つの binary task を構築する audit を実施。 - 腕の重要度に占める motion share が定義 cue に追従（P4Transformer 0.83 vs 0.60、PSTNet 0.86 vs 0.30、Mamba4D 0.92 vs 0.61）。 - necessity map は P4Transformer/PSTNet で最低 deletion AUC、Mamba4D で最良 baseline と同等、重みランダム化で相関消失。skeleton ground truth、re-sampling 安定性、コストも検証。

5. 議論はある？

- motion/geometry 分離が faithfulness を損なわないことを deletion AUC と重みランダム化で示す一方、議論の詳細は要旨からは不明。 - context-averaged estimator の限界や、複数 region をまたぐ構造への依存度は要旨からは不明。 - 対象 backbone は PSTNet、P4Transformer、Mamba4D に限られ、他手法への一般化は要旨からは不明。

6. 次に読むべき論文は？

- PSTNet（point-cloud video の backbone） - P4Transformer（4D point-cloud transformer） - Mamba4D（state-space backbone） - Shapley decomposition を用いた attribution 研究 - point-level perturbation に基づく 3D attribution の既存手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zerui Wang

分類: cs.CV

原文アブストラクト

4D perception models, which classify 3D point-cloud videos, are being built into robots, assistive monitoring and AR, yet before deploying one a practitioner cannot check which cue it relies on: how a body part moves, or what shape it has. 3D attribution is single-frame, video attribution is confined to RGB pixels, gradient maps need white-box access, attention is absent from state-space backbones, and point-level perturbations assume a point correspondence across frames that real depth and LiDAR data lack. We present Kinematic Causal Attribution (KCA), a black-box, interventional attribution method that queries only the model's outputs. Its freeze operator removes a region's motion while keeping its shape, and a shape-free proxy removes the shape while keeping the motion. Together they span a motion$\times$geometry cube for every tracked region, whose order-symmetric Shapley decomposition is complete and whose interaction is measured rather than assumed away. The operators rewrite per-frame point sets, so they need no correspondences, and a context-averaged estimator handles structures that span several regions. We validate KCA on the official PSTNet, P4Transformer and Mamba4D trained on MSR-Action3D. The decisive test is an audit: two binary tasks are built from real clips whose classes differ only in the motion or only in the shape of the same arm, and the motion share of the arm's importance follows the defining cue on all three backbones (0.83 vs. 0.60 on P4Transformer, 0.86 vs. 0.30 on PSTNet, 0.92 vs. 0.61 on Mamba4D), a distinction no single attribution map can make. The split costs no faithfulness: the necessity maps have the lowest deletion AUC on P4Transformer and PSTNet, tie with the best baseline on Mamba4D, and lose their correlation with the trained model's once the weights are randomised. Skeleton ground truth, re-sampling stability and cost complete the validation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧