日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.26717

農業マニピュレーションのための視覚-言語-行動モデルによるロボット学習

Robot Learning with Vision-Language-Action Models for Agricultural Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

トマト植物を対象に、MuJoCoシミュレーションで収集した実演と実機実演を用いてOctoやπ0.5などの汎用ロボット方策を農業のリーチング・把持タスクへ適応させるsim-to-real学習フレームワークを構築し、視点変化や分布外条件での性能を評価した。

詳しい要約

1. どんなもの？

- 農業環境(トマト植物)におけるロボットの reaching と grasping を対象とした研究 - simulation-to-real の robot-learning framework を構築 - MuJoCo ベースの農業環境を開発し、多様なトマト植物構造を再現 - joystick teleoperation による expert demonstration 収集と pretrained policy adaptation を統合 - 2つの pretrained generalist robot policy(Octo と $π_{0.5}$)を simulated demonstration で適応し、実機 Franka Research 3 で追加 fine-tuning - 農業 manipulation への VLA/generalist policy 適用可能性を示す

2. 先行研究と比べてどこがすごい？

- 従来の agricultural manipulation は植物形状の変化・occlusion・camera viewpoint 変動への対応が課題 - pretrained VLA / generalist robot policy は multimodal observation と言語指示から manipulation を学習できる可能性を持つが、農業タスクへの適応には domain-specific demonstration が必要で実機収集は高コスト - 本研究は simulation 上での demonstration 収集と pretrained policy adaptation を組み合わせ、実機 fine-tuning まで含む枠組みを構築した点が特徴 - Octo と $π_{0.5}$ を同一条件で比較し、$π_{0.5}$ が高い task-performance と distribution shift 下での劣化の小ささを示した

3. 技術・手法の肝は？

- MuJoCo ベースの農業環境を構築し、多様なトマト植物構造で demonstration 収集と制御評価を実施 - joystick teleoperation で expert demonstration を収集し、low-level controller が robot action を実行 - pretrained generalist policy(Octo, $π_{0.5}$)を simulated demonstration で適応 - 続いて実機 Franka Research 3 上で real-robot demonstration により追加 fine-tuning - proprioceptive information が policy performance に与える影響も調査

4. どうやって有効だと検証した？

- simulation 上で in-distribution、viewpoint/spatial-shift、out-of-distribution の条件で適応済み policy を評価 - 続いて physical-robot experiment を実施 - 結果、$π_{0.5}$ が Octo より高い task-performance score を示し、distribution shift 下での劣化も小さいことを確認 - proprioceptive information の影響も検証(詳細な結果は要旨からは不明)

5. 議論はある？

- pretrained generalist policy と task-specific demonstration learning の統合が agricultural manipulation に有効である可能性を示唆 - $π_{0.5}$ が Octo より優位であり、distribution shift への頑健性が高いという知見 - 実機 fine-tuning の必要性や simulation-to-real のギャップに関する詳細な議論は要旨からは不明 - 農業環境特有の variation・occlusion・viewpoint 変動への限界や一般化可能性は要旨からは不明

6. 次に読むべき論文は？

- Octo(pretrained generalist robot policy) - $π_{0.5}$(pretrained generalist robot policy) - vision-language-action (VLA) models に関する代表的研究 - MuJoCo を用いた agricultural manipulation の simulation 研究 - Franka Research 3 を用いた robot learning 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hamid Hafezi, Javad Mohammadpour Velni, Mohammadreza Davoodi

分類: cs.RO

原文アブストラクト

Robotic manipulation in agricultural environments remains challenging due to variations in plant geometry, occlusion, and camera viewpoints. Pretrained vision-language-action (VLA) and generalist robot policies offer a promising approach to addressing these challenges by learning manipulation behaviors from multimodal observations and language instructions. However, adapting these policies to agricultural tasks requires domain-specific demonstrations, which are costly and time-consuming to collect on physical robots. In this work, we develop a simulation-to-real robot-learning framework for agricultural reaching and grasping that integrates task-specific demonstration collection and pretrained policy adaptation. A MuJoCo-based agricultural environment is developed with diverse tomato plant structures to support demonstration collection and controlled evaluation. Expert demonstrations are collected through joystick teleoperation, with a low-level controller used to execute robot actions. Two pretrained generalist robot policies, Octo and $π_{0.5}$, are adapted using simulated demonstrations, followed by further fine-tuning on a physical Franka Research 3 manipulator using real-robot demonstrations. The adapted policies are evaluated under in-distribution, viewpoint/spatial-shift, and out-of-distribution conditions in simulation, followed by physical-robot experiments. The influence of proprioceptive information on policy performance is also investigated. Results show that $π_{0.5}$ achieves higher task-performance scores than Octo and exhibits less degradation under distribution shifts. These findings demonstrate the potential of integrating pretrained generalist policies with task-specific demonstration learning for agricultural manipulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI