日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
エンドユーザー開発arXiv:2608.19281

APPROVE: 視覚的エンドユーザー参加型LLMロボットプログラミング

APPROVE: Visual End-User-in-the-Loop Robot Programming with LLMs

シェア:XThreadsFacebookLINEはてブBluesky

LLMが生成したロボットプログラムをブロック型インターフェースで可視化し、ユーザーが確認・修正・再利用できるフレームワークを提案した論文。

詳しい要約

1. どんなもの?

APPROVEは、LLMを用いたマルチモーダルなエンドユーザー向けロボットプログラミングフレームワークである。自然言語入力とブロックベースのインターフェース(Blockly)を統合し、生成されたプログラムを可視化してユーザーが確認・修正・拒否できる明示的な確認ステップを備える。確認された関数はライブラリに保存され再利用可能となる。

2. 先行研究と比べてどこがすごい?

従来のLLMベースのロボットプログラム自動生成システムは、透明性が不足し、ユーザーの意図との整合を保証する仕組みがなく、再利用のサポートが乏しかった。APPROVEは、ブロックベースの可視化とユーザー確認ステップを導入することで透明性を高め、意図の整合を可能にし、再利用のためのライブラリ構築を実現している点が優れている。

3. 技術・手法の肝は?

手法の肝は、自然言語入力とブロックベースのインターフェースを統合したマルチモーダルな設計と、生成プログラムの可視化、ユーザーによる確認・修正・拒否のステップ、確認済み関数のライブラリへの蓄積による再利用性の向上である。

4. どうやって有効だと検証した?

要旨からは具体的な検証方法は不明である。

5. 議論はある?

要旨からは議論の内容は不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、LLMを用いたロボットプログラム生成に関する研究が挙げられる。具体的には、自然言語からロボットプログラムを自動生成する既存のLLMベースシステムに関する論文が該当する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bijan Kavousian, Miray Özakkas, Josefine Monnet, Oliver Petrovic, Christian Brecher

分類: cs.RO, cs.HC

原文アブストラクト

Programming robots remains challenging for non-experts, as traditional methods require expert knowledge and even block-based interfaces often lack flexibility. Recent work has explored Large Language Models (LLMs) to automatically generate robot programs from natural language, but these systems remain limited by a lack of transparency, missing mechanisms to ensure alignment with user intent, and little support for reuse. We present APPROVE (AI-Powered Programming for Robots with Visual End-User Feedback), an LLM-based multi-modal end-user programming framework that integrates natural language input with a block-based interface and an explicit user confirmation step. Generated programs are visualized using a block-based interface in Blockly, allowing users to confirm, modify, or reject them before execution. Confirmed functions are stored in a library for reuse, gradually building a set of reliable program components. Our approach contributes a human-centered design for LLM-based robot programming that emphasizes user trust, intent alignment, and reusability.