ホーム › 論文 › 検証可能な操作のためのハードウェア認証タスクチェーン ベンチマーク 2026/10/20 arXiv:2610.27485
検証可能な操作のためのハードウェア認証タスクチェーン HATCH: Hardware-Attested Task Chains for Verifiable Manipulation
センサで成否を判定し、タスクを連鎖させた再現可能なロボット操作ベンチマーク「HATCH」を提案。自己実行の認証付き記録を提出する方式で、オープンな仕様と採点基準を公開する。
詳しい要約 1. どんなもの？ - HATCHはロボットマニピュレーションのためのbenchmark
- robot escape room形式で、openly specified・physically replicable・sensor-scored・unrehearsableを特徴とする
- 5つのskill categories×3 difficulty levelsのタスクを扱う
- タスクはchained構成で、1つのタスク完了をsensorが確認すると次のタスクがunlockされ、部屋全体がsingle long-horizon evaluationになる
- 成功判定はhuman judgmentではなくinstrumentationで行い、scoringはembodiment-agnostic
- object placementsはrun-day seedでrandomizedされる
- 参加者はattested self-runs（uncut video、sensor logs、seed）を提出し、calibration用のorganized eventsも随時開催
-…
2. 先行研究と比べてどこがすごい？ - 既存のleaderboardsはclosed・simulated・gameableのいずれかであり、robot manipulationのcapability claimsはunverifiableだと指摘
- HATCHはopenly specifiedかつphysically replicableなbenchmarkとして、closedな既存評価と対比される
- sensor-scoredによりhuman judgmentを排除し、gameableな評価を避ける設計
- unrehearsable（run-day seedによるrandomization）により、事前練習による過適合を抑制
- chained tasksにより単発タスクではなくsingle long-horizon evaluationを実現
- embodiment-agnosticなscoringで特定ハードウェアに依存しない評価を目指す
- 具体的な先行研究名・数値比較は要旨からは不明
3. 技術・手法の肝は？ - robot escape roomというbenchmark設計
- 5 skill categories×3 difficulty levelsのタスク群
- タスクをchainedに接続し、sensorが完了を確認すると次タスクがunlockされる仕組み
- instrumentationによる成功確認（human judgmentを使わない）
- embodiment-agnosticなscoring rubrics
- run-day seedによるobject placementsのrandomization
- attested self-runsの提出（uncut video、sensor logs、seed）
- 随時のorganized eventsによるcalibration
- open licenseでのtask specifications、build guide、bill of materials、scoring rubrics公開
- 個々のsensor種類や実装詳細は要旨からは不明
4. どうやって有効だと検証した？ - 有効性の検証方法の詳細は要旨からは不明
- benchmarkとしての運用面では、attested self-runs（uncut video、sensor logs、seed）の提出と、occasional organized eventsによるcalibrationが述べられている
- sensor-scoredかつunrehearsableな設計により、検証可能性を担保する枠組みを提示
- 具体的な実験結果・参加者数・スコア比較は要旨からは不明
5. 議論はある？ - 既存leaderboardsのclosed・simulated・gameableという問題意識が議論の出発点
- capability claimsがunverifiableである現状への対処として、openly specifiedでphysically replicableなbenchmarkを提案
- attested self-runs方式の信頼性や、organized eventsによるcalibrationの位置づけが論点になり得るが、要旨では詳細な議論は述べられていない
- embodiment-agnostic scoringの妥当性や、chained tasksによるlong-horizon評価の難易度設計については要旨からは不明
6. 次に読むべき論文は？ - 要旨で参照・比較されている個別研究は明示されていない
- 関連手法として、robot manipulationのbenchmark・leaderboard（既存のleaderboards）、simulated benchmark、long-horizon evaluation、embodiment-agnostic scoringに関する研究を次に読む候補として挙げる
- 具体的な論文名は要旨からは不明
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Shiza Charania
分類: cs.RO
原文アブストラクト Capability claims in robot manipulation are unverifiable, and existing leaderboards are each closed, simulated, or gameable. We propose HATCH, a robot escape room: an openly specified, physically replicable, sensor-scored, and unrehearsable benchmark. Tasks span five skill categories at three difficulty levels and are chained so that the sensor confirming one task's completion unlocks the next, turning a room into a single long-horizon evaluation. Success is confirmed by instrumentation rather than human judgment, scoring is embodiment-agnostic, and object placements are randomized by a run-day seed. Entrants submit attested self-runs (uncut video, sensor logs, and the seed), with occasional organized events for calibration. Task specifications, build guide, bill of materials, and scoring rubrics are released under an open license.