日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

一人称操作データセットarXiv:2611.26434

HumanCOIN:一人称操作における人間の意図を記録する12,500時間データセット

HumanCOIN: A 12,500-Hour Dataset for Human Intent in Egocentric Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

行動の背後にある意図(視線・筋電・脳波)を大規模に記録した一人称操作データセットHumanCOINを構築し、12,500時間分のマルチモーダルデータを公開した。

詳しい要約

1. どんなもの?

- 一人称操作における human intent を記録する大規模データセット HumanCOIN を提案 - 12,500時間、38 scene classes から構成 - intent pathway を decision から effect まで3段階の proxy で捉える - L1 attention tier (10,000 h): headband camera 映像から gaze を推定 - L2 exertion tier (2,000 h): armband による surface EMG - L3 cognition tier (500 h): scalp EEG - 各 tier は下位 tier の proxy を継承 - 付随データ - multi-view RGB images、depth maps、point clouds - 6-DoF head/wrist pose - step-level action と object annotations - L3 では gaze、hand pose、fi…

2. 先行研究と比べてどこがすごい?

- 従来の first-person manipulation datasets は observation-action pair を原子単位とし、action の生成と実行を policy network の重みに圧縮 - その結果、action の背後にある intent state が観測不能だった - HumanCOIN は human motor control 研究の知見に基づき intent を観測可能な trace として記録 - gaze が hand より先に target へ到達 - muscle load が contact 前に立ち上がる - cortical activity が motor command に先行 - これら intent pathway を dataset scale で記録する点が先行研究と異なる - 詳細な比較対象は要旨からは不明

3. 技術・手法の肝は?

- intent pathway を3層の proxy で捉える設計 - L1 attention: headband camera 映像から gaze を推定し、hand 移動前の注意対象を露出 - L2 exertion: armband の surface EMG で実行完了前の load expectation を記録 - L3 cognition: scalp EEG で task decision と monitoring の早期 readout を取得 - tier 間の継承 - 各 tier は下位 tier の proxy をすべて継承 - マルチモーダル計測 - multi-view RGB、depth、point cloud、6-DoF head/wrist pose - step-level action と object annotation - L3 の統制環境では gaze、hand pose、finger kinematics を直接計測 - 再現性 - clock と calibration data を公開し、任意の…

4. どうやって有効だと検証した?

- 要旨からは不明 - データセットの有効性をどの benchmark や実験で検証したかの記述はない - 記述されているのはデータ規模と構成のみ - 12,500時間、38 scene classes、3 stations - 3 tier の proxy 計測と付随アノテーション

5. 議論はある?

- 要旨からは不明 - 限界、失敗事例、倫理的議論、コスト等の記述はない - 設計上の主張として、visual-action pair の背後にある過程を dataset scale で modeling 可能にすることが述べられている

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として以下が挙げられる - first-person manipulation datasets - gaze estimation from head-mounted camera - surface EMG based intention estimation - scalp EEG based decoding - human motor control 研究 - 同分野の定番として Ego4D、EPIC-KITCHENS 等の egocentric データセットとの比較検討が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shihan Wu, You Liu, Chunyu He, Minghui Qin, Longhan Jiao, Jinbang Guo, Shaoxuan Xie, Kaixi Tian, Wenjie Chen, Jingrui Pang, Yuanhang Zhang, Yichi Zhang, Miao Liu, Tengfei Pan, Yance Jiao, Yunyan Zhang, Yihang Li, Yongjian Shen, Li Liu, Kai Zhu, Chen Fang, Jianxing Chen, Sihan Liu, Xiaofeng Wang, Jie Zhao, Jing Li, Yueqi Wang, Yichen Tang, Wei Li, Zhexuan Yang, Yue Cao, Ji Zhao, Kai Wang, Dongsheng Jiang, Yongwei Wang, Wei Mu, Jiangmiao Pang, Maoqing Yao, Wenchao Ding, Zheng Zhu, Zhongpu Xia, Dalong Du, Jianwei Niu, Dahui Gao, Zhiwei Yu, Bo Lei, Huan Yang, Yonghua Lin, Tiejun Huang, Zhongyuan Wang, Guocai Yao

分類: cs.CV, cs.RO

原文アブストラクト

First-person manipulation datasets treat the observation-action pair as the atomic unit and compress the generation and execution of an action into a policy network's weights, rendering the intent state behind the action unobservable. Human motor control research shows that intent mediates between observation and action and leaves observable traces along the intent pathway from decision to effect: gaze reaches the target before the hand, muscle load builds before contact, and cortical activity precedes the motor command. To record this pathway at scale, we present HumanCOIN, a first-person manipulation dataset built around human intent: 12,500 hours across 38 scene classes with three tiers of proxies. At the output end, the L1 attention tier (10,000 h) infers gaze from headband camera video, exposing the operator's next object of attention and reach before the hand moves. Midway, the L2 exertion tier (2,000 h) records surface EMG from armbands, making load expectations readable before execution is complete. At the origin, the L3 cognition tier (500 h) records scalp EEG, giving early readouts of task decisions and monitoring. Each tier inherits all proxies from the tiers below. The dataset further provides multi-view RGB images, depth maps and point clouds, 6-DoF head and wrist pose, and step-level action and object annotations. The controlled L3 setting additionally measures gaze, hand pose and finger kinematics directly. Clock and calibration data are released with the dataset so that any read rate can be re-aligned. The three tiers cover three stations, from visual orienting to cortical preparation, making the process behind visual-action pairs available for modeling at dataset scale. Project page: https://flagopen.github.io/HumanCOIN.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI