HexaFuture系のHexaShell、RoboDojo 42課題で成功率39.7%を記録

何が起きたか

HexaFutureは2026-10-16、VLMエージェントをロボットの操作に使う手法「HexaShell」をarXivで公表した。ロボットは2本腕で、1つのコマンドラインから制御され、3台のRGBカメラとそのキャリブレーション情報を使う。著者らはRoboDojoの42課題で平均成功率39.7%、progress score 48.0を得たとしている。

詳細

HexaShellは、エージェントの命令をロボットの動きに変換する薄いハーネスにとどめ、失敗のたびにログを読み、原因を見つけて小さなプログラム「tools」を修正する構成である。これらのtoolsは、ロボットが観測した情報だけを使い、三角測量で物体位置を推定する。2台のカメラが同じ点を見る場合はその交点を用い、点が機やブロック上面のような既知平面上にある場合は、その平面との交点で位置を求める。頭部カメラで不十分なときは、手首カメラを動かして2視点目を取る。 評価は、各タスクにつき1シードの10レイアウトでtoolsを作り、その後は凍結したうえで、同じシードの新しい10レイアウトで試す方法で行った。著者らはCodexとGPT-6-Astraのmedium reasoning effortを使い、42 RoboDojo tasksでsuccess rate 39.7%、progress score 48.0を報告した。内訳として、pushは92.5%、memory tasksは65.0%、tight insertionは8.3%だった。

Key Facts

本紙の見方

HexaShellの新しさは、ロボット向けのエージェントを大きな学習済み方策として一体化するのではなく、命令変換層を薄く保ち、失敗後の修正を「tools」というコードに残す点にある。これは、視覚言語モデルを使ったロボット制御を、会話的な指示応答ではなく、実行・失敗・修正の反復で測る設計である。一方で、3台のRGBカメラ、キャリブレーション、三角測量、手首カメラによる二視点化といった要素は、既にロボット操作研究で重要視されてきた入力と推定の延長線上にある。 本紙の関連記事はないため、過去報道との比較はできないが、今回の論文は「何を学習したか」より「どこまでをコード化して保持したか」を前面に出している。10レイアウトで作ったtoolsを凍結し、別の10レイアウトで試す評価は、汎化性能を見せる一方で、固定された手順がどの程度レイアウト変化に耐えるかを問う構成だといえる。42課題で39.7%という総合値は、push 92.5%とmemory tasks 65.0%が引き上げる一方、tight insertion 8.3%が大きく足を引っ張っており、単純な平均だけでは実力の偏りが読みにくい。 業界構造への含意としては、VLMエージェントが有効でも、実物体との接触が入る工程では視覚推論よりも制御の微妙さがボトルネックになりやすいことが示唆される。つまり、入力側の言語・視覚モデルを強化するだけではなく、座標推定、把持位置、再視点取得、接触直前の微小運動をどうコードとして安定化するかが焦点になる。加えて、今回の手法は観測情報に制約をかけているため、次に確認すべきなのは、異なるロボット本体やカメラ配置でも同様の成績が出るか、そしてtight insertionのような接触依存タスクでどこまで改善余地があるかである。

なぜ重要か

著者らは、42 RoboDojo tasksでsuccess rate 39.7%とprogress score 48.0を得たとしており、ロボット操作におけるVLMエージェントの限界が、推論より接触制御にある可能性を示した。特にpush 92.5%とtight insertion 8.3%の差は、同じ視覚入力でもタスク種別で要求される制御精度が大きく異なることを示す。

日本への影響

日本のロボット研究や部品産業にとっては、視覚言語モデルそのものより、三角測量、キャリブレーション、手首カメラの再視点取得のような実機寄りの統合が焦点になる。とくに接触精度が課題として残る以上、グリッパー、視覚センサー、制御系をどこまで安定に組み合わせられるかが問われる。