LLM駆動型身体操作のための系統的故障注入とロバスト性評価フレームワークAlpha

- LLM を組み込んだ embodied robotic planning のための fault-injection / robustness-evaluation framework「Alpha」 - simulation 上で LLM-driven manipulation を対象とする - perception (sensor lag)、actuation (grip slip)、kinematics (unreachable targets)、planning (planner-output corruption) および同時発生条件に calibrated faults を注入 - 目的は end-to-end のタスク完了率だけでは見えない failure origins を実行スタック全体で切り分けること - LLM agent (Llama-3 via Ollama) と deterministic Scripted Oracle planner を同一条件で比較する matched methodology を導入 - 150-episode の balanc…

- 標準 benchmark は nominal 環境での end-to-end task completion を主に評価し、failure origins を隠してしまうという問題意識 - Alpha は fault を perception / actuation / kinematics / planning の層別に注入し、物理的脆弱性と planner 感受性を分離 - LLM agent と deterministic Scripted Oracle を同一 seeds・geometries・safety criteria で対にする matched methodology が特徴 - 結果として性能差の原因を「認知推論の欠陥」ではなく planner-output corruption、すなわち prompt-to-JSON serialization と validation interface に帰属させた点が新しい - 169 historical pilot attempts の audit による透明性確保も実施

- simulation ベースの systematic fault-injection framework - perception: sensor lag - actuation: grip slip - kinematics: unreachable targets - planning: planner-output corruption - これらに concurrent conditions を加える - LLM agent は Llama-3 via Ollama を使用 - 比較対象は deterministic Scripted Oracle planner - 150-episode の balanced matrix を同一 seeds・geometries・safety criteria で構築 - 統計検定として paired McNemar test を使用 - planner-output corruption を除いた物理・運動学的条件の比較により、物理的脆弱性と planner 感受性を分離

- 150-episode matrix 全体では Oracle 64.0% (48/75)、LLM 44.0% (33/75)、paired McNemar p = 3.01 x 10^-4 - planner-output corruption を除外した全 physical / kinematic 条件では両 planner とも 55.0% (33/60)、discordant pairs ゼロ、McNemar p = 1.00 - actuator slip、kinematic reach boundaries、perceptual staleness が deterministic controller と LLM planner に同等に影響することを示す - 性能差は planner-output corruption に起因（Oracle 100% vs. LLM 0%） - 169 historical pilot attempts の audit も実施

- 性能差は cognitive reasoning deficit ではなく prompt-to-JSON serialization と validation interface に隔離されるという解釈 - 物理的・運動学的 fault は planner の種類によらず同等に影響するため、LLM 固有の弱点ではない可能性 - ただし評価は simulation 上であり、実機環境への一般化は要旨からは不明 - planner-output corruption の具体的な注入方法や validation interface の詳細は要旨からは不明 - 169 historical pilot attempts の audit 結果の詳細は要旨からは不明

- 要旨で直接参照・比較されている研究は Scripted Oracle planner と Llama-3 via Ollama のみ - 関連手法として LLM-driven embodied planning の標準 benchmark（end-to-end task completion 評価） - fault injection / robustness evaluation の一般手法 - prompt-to-JSON serialization と validation interface に関する研究 - 実機 manipulation における robustness evaluation の関連研究