日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
遠隔操作arXiv:2609.19802

感情を考慮した共有自律制御:両手遠隔操作における感情動態と主観評価

Affective Shared Autonomy: Temporal Affect Dynamics and Subjective Evaluation in Bimanual Teleoperation Tasks

シェア:XThreadsFacebookLINEはてブBluesky

操作者の表情・心拍・腕の動きから感情状態を推定し、悪化時のみ支援を発動する共有自律遠隔操作フレームワークを提案。30名の実験で生産的な状態が最大39.7%増加した。

詳しい要約

1. どんなもの?

- 両手遠隔操作タスクにおけるaffect-aware shared autonomyの枠組みを提案。 - 操作者のaffective stateをリアルタイム推定し、ロボット支援を動的に調整。 - 顔映像、心臓信号、両腕運動学から7状態のaffective distributionと3カテゴリ(neutral, productive, adverse)の操作抽象化を出力。 - adverse状態が継続したときのみaffect-aware assistanceを選択的に発動。 - ユーザー研究(N=30)でproductive状態が最大39.7%増加。 - 両手遠隔操作中の時系列affective state変化を連続的に捉えた初のマルチモーダルデータセットを収集。

2. 先行研究と比べてどこがすごい?

- 従来のshared autonomyは空間誤差境界などのタスクベース規則に依存し、操作者の一時的なaffective stateを無視。 - 誤った制御介入のリスクがあった。 - 提案手法はaffect-awareで、リアルタイムの操作者状態推定に基づき支援を調整。 - マルチモーダル融合モデルはzero-shotベースライン(Qwen, MiniCPM-V)を時系列状態ダイナミクス追跡で上回る。 - 両手遠隔操作中の視覚・生理・運動追跡を統合した初のデータセットを提供。

3. 技術・手法の肝は?

- 同期したfacial video、cardiac signals、bilateral arm kinematicsから操作者affective stateを推定。 - 7状態のaffective distributionと3カテゴリ(neutral, productive, adverse)のoperational abstractionを出力。 - adverse状態が連続して検出された場合にのみaffect-aware assistanceを選択的にトリガー。 - タスクポジティブなエンゲージメントを維持し、不要な中断を回避。 - マルチモーダル融合モデルを構築。

4. どうやって有効だと検証した?

- 実世界ユーザー研究(N=30)を実施。 - 提案するaffective assistanceがproductive statesを最大39.7%増加させることを確認。 - ユーザーagencyを損なわないことを確認。 - マルチモーダル融合モデルがzero-shotベースライン(Qwen, MiniCPM-V)を時系列状態ダイナミクス追跡で上回ることを示した。 - 両手遠隔操作中の時系列affective state変化を連続的に捉えた初のマルチモーダルデータセットを収集。

5. 議論はある?

- 要旨からは不明。 - ただし、affect-aware assistanceがproductive statesを増やしつつuser agencyを損なわない点、およびマルチモーダル融合モデルがzero-shotベースラインを上回る点が報告されている。 - 実世界展開がhuman-centric frameworkを提供すると主張。

6. 次に読むべき論文は?

- Qwen - MiniCPM-V - 同分野の定番としてshared autonomy、affective computing、multimodal human-robot interactionに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengji Liang, Guiyin Tian, Sijin Qu, Hainan Liu, Shiyan Hu

分類: cs.RO, cs.HC

原文アブストラクト

Physical teleoperation integrates human cognitive flexibility with robotic precision, yet demanding manipulation tasks frequently induce severe cognitive workload, acute frustration, and execution breakdown. Conventional shared autonomy paradigms rely primarily on task-based rules, such as spatial error boundaries, which disregard the operator's transient affective state and risk misaligned control interventions. To address this limitation, we propose an affect-aware shared autonomy teleoperation framework that dynamically modulates robotic assistance based on real-time operator state estimation. The system estimates operator affective states from synchronized facial video, cardiac signals, and bilateral arm kinematics, outputting a seven-state affective distribution and a three-category operational abstraction (neutral, productive, adverse). Affect-aware assistance is selectively triggered when the user is detected in a continuous adverse state, preserving task-positive engagement without unnecessary disruption. The empirical user study ($N = 30$) confirms that the proposed affective assistance increases the productive states by up to 39.7% without compromising user agency. The collected dataset represents the first multimodal dataset that provides continuous visual, physiological, and operator's bilateral motion tracking of temporal affective state shifts during bimanual teleoperation. Our multimodal fusion model outperforms zero-shot baselines (Qwen, MiniCPM-V) in tracking temporal state dynamics. This real-world deployment offers a new human-centric framework that integrates visual, physiological, and motion tracking for physical human-robot interaction.

関連論文

PR本紙発行元 EmplifAI