日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2611.23070

スマート家電APIと物理操作を統合した家庭用ロボットシミュレーション環境PAIR

PAIR: Bringing Household Robots into the Smart Home

シェア:XThreadsFacebookLINEはてブBluesky

Matter規格に基づくスマート家電の制御パネルとAPIを統合した家庭用ロボット向けシミュレーション環境PAIRを構築し、VLAポリシーの評価を行ったところ、ロボットはAPI利用以前の移動・把持・ドア操作の段階で大半が失敗することを示した。

詳しい要約

1. どんなもの?

- 家庭用ロボットが家電を操作するための smart-home シミュレーション環境 PAIR を提案 - Matter protocol に基づく業界標準準拠の環境 - 84 個の smart-device アセットを提供 - 機能的な control panel と API が同一の device state に作用 - 環境条件が両者に応答して変化 - 1,443 件の要望調査から 40 タスクの benchmark を構築 - 全タスクが object manipulation を必要とし、API なしでも解ける設定 - policy 学習用に 340 件の human demonstration を提供

2. 先行研究と比べてどこがすごい?

- 既存の embodied AI シミュレーション環境は家電を物理オブジェクトとしてのみモデル化 - PAIR は Matter protocol に基づき、control panel と device API の両方を備えた smart appliance を再現 - 両インタフェースが共有 device state に作用する点が新しい - ambient conditions が両者の操作に応答して変化 - 物理操作と API 操作の両方が可能な benchmark を提供 - API なしでも解けるタスク設計により、操作能力と API 利用の比較が可能

3. 技術・手法の肝は?

- Matter protocol を基盤とした smart-home シミュレーション環境の構築 - 84 の smart-device アセットに functional control panel と API を実装 - 共有 device state と ambient conditions の連動モデル - 1,443 件の要望調査から 40 タスクの benchmark を設計 - 全タスクが object manipulation を要求し、API アクセスなしでも解けるよう制約 - 340 件の human demonstration による VLA policy の fine-tuning - 評価条件として単独実行、high-level planner 併用、API-enabled planner 併用を設定

4. どうやって有効だと検証した?

- 40 タスクの benchmark と 120 evaluation episodes で評価 - fine-tuned VLA policy 2 種を単独・high-level planner 併用・API-enabled planner 併用で検証 - いずれの設定でも 120 episodes を完遂できず - 失敗分析 - oracle plans と API access があっても 90% 超の失敗 rollout が navigating・grasping・operating a door で停滞 - ロボット本体を perfect oracle に置換しても最良 planner の plan 通過率は 57.3% - planner の選択行動を分析 - button 押下と API 呼び出しの選択が API latency ではなく panel の読み取り可否に依存

5. 議論はある?

- ロボットが API 利用段階に到達すること自体が稀であることが示唆される - 失敗の大半は navigation・grasping・door operation などの身体操作段階 - API と物理操作の統合における課題 - planner が API latency を考慮せず panel 可読性で行動選択する傾向 - perfect oracle でも plan 通過率が 57.3% にとどまり、planning と embodiment の双方に改善余地 - 要旨からは不明 - 実機への転送可能性や sim-to-real の議論 - タスク難易度の分布や失敗要因の詳細な分類

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - 既存の embodied AI simulation environments(家電を物理オブジェクトとして扱うもの) - Matter protocol 関連の smart-home 標準 - 関連手法として挙げられるもの - VLA (Vision-Language-Action) policies - high-level planner / API-enabled planner - 同分野の定番として次に読むべき候補 - 家庭用ロボットの object manipulation に関する benchmark 研究 - smart-home 環境における API と物理操作の統合に関する研究 - VLA policy の fine-tuning と評価に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junseong Pyo, Hyeongjin Kim, Jongwook Han, Seungwon Kook, Sungjib Lim, Yohan Jo

分類: cs.RO

原文アブストラクト

Household robots often need to operate appliances, and smart appliances offer both control panels and device APIs. Existing embodied AI simulation environments, however, model appliances solely as physical objects. We introduce PAIR, a smart-home simulation environment grounded in the Matter protocol~\footnote{https://csa-iot.org/all-solutions/matter/}, the industry standard for smart-home devices. PAIR provides 84 smart-device assets whose functional control panels and APIs act on a shared device state, with ambient conditions that evolve in response to both. From a survey of 1,443 requests, we construct a benchmark of 40 tasks that all require object manipulation yet remain solvable without API access, with 340 human demonstrations for policy training. Whether run alone, with a high-level planner, or with an API-enabled planner, two fine-tuned VLA policies complete none of the 120 evaluation episodes. Robots rarely get far enough to use the API: even with oracle plans and API access, over 90\% of failed rollouts stall at navigating, grasping, or operating a door. With a perfect oracle in place of the robot's body, the best planner still gets through only 57.3\% of its plan. When choosing between pressing a button and calling an API, several planners go by whether they can read the panel, not by API latency.\footnote{We will release our code and data upon publication.}

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI