日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル自己教師あり学習arXiv:2611.23211

運転能力低下をモデル化するマルチモーダルマスク拡散オートエンコーダ

Multimodal Masked Diffusion Autoencoder for Modeling Impaired Driving

シェア:XThreadsFacebookLINEはてブBluesky

視線・車両状態・映像を入力に、マスク拡散オートエンコーダで運転能力低下のラベル予測とマスク再構成を自己教師あり学習し、DIVERTデータセットで検出精度を向上させた研究。

詳しい要約

1. どんなもの?

- 運転中の人間の認知状態(distraction, stress など)・gaze・行動を扱うマルチモーダル学習モデル - 名称は ID-MAE(multimodal masked-diffusion autoencoder) - impairment(障害・阻害状態)ラベル予測に self-supervised 目的を追加した枠組み - impairment label を masked token として予測 - 併せて masked gaze と trajectory を再構成 - 新規 driving-simulator データセット DIVERT も提案 - 103 時間、n=109、10 種類の impairment induction(cognitive, visual, emotional) - gaze, vehicle state, scene video を記録

2. 先行研究と比べてどこがすごい?

- 従来は impairment ラベルが大規模に得にくいことが課題 - 提案は impairment 予測に self-supervised な再構成目的を組み合わせる点が特徴 - DIVERT 上で location-matched pairs の paired AUC 0.706(再構成損失なしは 0.590) - 再構成損失の追加で改善し、既存 baseline を上回ると報告 - DIVERT と既存データセットの両方で impairment inference が改善 - trajectory 予測や gaze 予測など追加タスクでも強い結果 - 具体的な既存手法名は要旨からは不明

3. 技術・手法の肝は?

- multimodal masked-diffusion autoencoder(ID-MAE) - impairment label を masked token として予測 - masked gaze と trajectory を再構成する self-supervised 目的を併用 - 入力は gaze, vehicle state, scene video などのモダリティ - 設計空間を探索 - input modalities - masking scheme - positional encoding - attention mechanism - decoding - 複数 impairment 間の training/inference での相互作用も調査

4. どうやって有効だと検証した?

- 新規 DIVERT データセットで評価 - 103 時間、n=109、10 種類の impairment induction - 既存データセットでも impairment inference を評価 - location-matched pairs で paired AUC 0.706(再構成損失なし 0.590) - trajectory 予測・gaze 予測など追加タスクでも結果を報告 - 入力モダリティ、masking scheme、positional encoding、attention、decoding の設計空間を検証 - 複数 impairment の相互作用を分析し、visually demanding distractions と cognitive distractions が分離可能と報告

5. 議論はある?

- 複数 impairment の training/inference 相互作用を議論 - visually demanding distractions と cognitive distractions の分離可能性 - 設計空間(modalities, masking, positional encoding, attention, decoding)の検討 - 限界・倫理面・実車への一般化などは要旨からは不明 - DIVERT は driving simulator データであり、実環境との差は要旨からは不明

6. 次に読むべき論文は?

- DIVERT データセット(本論文で提案) - masked-diffusion autoencoder 関連の masked modeling 研究 - self-supervised learning を用いた driver monitoring / impairment detection の既存研究 - gaze prediction および trajectory prediction の関連手法 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: John Gideon, Anshul Gupta, Megan Applegate-Kenton, Kayli Battel, Todd J Rowell, Patricio Reyes Gomez, Laporsha Dees, Emily Sumner, Avinash Balachandran, Guy Rosman

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Human cognitive state (e.g., distraction, stress), gaze, and behavior interact with the driving environment in subtle ways that AI could use to assist drivers, but ground-truth labels for human cognitive state levels are costly to obtain at scale. We propose a multimodal masked-diffusion autoencoder, ID-MAE, that adds a self-supervised objective to impairment prediction: alongside predicting the impairment label as a masked token, it reconstructs masked gaze and trajectory. To probe the effects of different modalities and types of impairments on model inference, we introduce DIVERT, a driving-simulator dataset containing 103 hours of driving data (n = 109) with ten impairment inductions spanning cognitive, visual, and emotional states, recorded with gaze, vehicle state, and scene video. We demonstrate how ID-MAE affords significant improvements in impairment inference results on both the DIVERT dataset and existing datasets, and enables strong results in additional tasks, such as trajectory and gaze prediction. For location-matched pairs, our model achieves a paired AUC of 0.706 for impairment detection on DIVERT, compared to 0.590 without reconstruction loss, improving over existing baselines. We probe the design space in terms of input modalities, masking scheme, positional encoding, attention mechanism, and decoding. We also investigate the interaction between various impairments in training and inference, demonstrating that visually demanding distractions are separable from cognitive distractions. Code and data will be available upon acceptance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI