EarlyCommit: 話し終わる前に行動するロボットのための較正された単語単位のコミットメント

- 発話完了を待たずにロボットが対象物体へ早期にコミットするオープンソースツール EarlyCommit を提案。 - 認識された各単語ごとに fine-tuned text encoder がシーン内の各物体をスコアリング。 - 最良物体の calibrated probability がユーザ設定の閾値 tau に達したら行動し、1 - tau を誤選択の許容リスクとする。 - 達しなければ待機または質問する。 - streaming speech front end、word-by-word ground truth 付きの scene/instruction generator、train/calibrate/evaluate 用スクリプトを含む。

- 従来のロボットは話者が話し終えるまで待ってから行動を決める設計が典型。 - 人間の聞き手は指示終了の数単語前に対象物体を特定できることが多いという点に着目。 - 訓練で未見の単語を含む指示において、EarlyCommit は keyword matching より 1.6〜2 倍多く正しくコミット。 - tau = 0.9 でコミットした場合、少なくとも 92% の確率で正しい。 - consumer GPUs で 1 単語あたり 31〜35 ms で動作。

- 認識された各単語後に fine-tuned text encoder がシーン内の各物体をスコアリング。 - 最良物体の calibrated probability がユーザ設定閾値 tau に達した時点でロボットが行動。 - 1 - tau を誤った物体を選ぶ許容リスクとして解釈。 - 閾値未満なら待機または質問する仕組み。 - streaming speech front end、word-by-word ground truth 付き scene/instruction generator、train/calibrate/evaluate スクリプトを提供。

- 訓練で未見の単語を含む指示で評価。 - keyword matching と比較し、EarlyCommit は 1.6〜2 倍多く正しくコミット。 - tau = 0.9 でコミットした場合、少なくとも 92% の確率で正しいことを確認。 - consumer GPUs で 1 単語あたり 31〜35 ms の性能を確認。 - 詳細な評価プロトコルやデータセットは要旨からは不明。

- 1 - tau を誤選択の許容リスクとしてユーザが設定できる点を提示。 - 閾値未満の場合に待機または質問する挙動を許容。 - 未見語を含む指示での keyword matching との比較結果を示す。 - 計算コストや実運用上の制約、限界、倫理的議論は要旨からは不明。

- 要旨で参照/比較されている研究: keyword matching。 - 関連手法として streaming speech recognition、fine-tuned text encoder、calibrated probability、early commitment に関する研究が挙げられる。 - 具体的な論文名は要旨からは不明。