何が起きたか
2026年7月15日、arxiv.orgにて「Kepler-Encoder-v0.1: Towards a Multimodal Embedding Model for Robots」と題する論文が公開された。同モデルは、ロボットの状態をモダリティとして扱い、視覚・ proprioception・力覚を単一の共有潜在空間に融合する。評価時には視覚のみが入力される。
詳細
Kepler-Encoder-v0.1は、学習済みクエリのクロスアテンション層を用いて、視覚・ proprioception・力覚を融合する。自己教師あり学習として、マスクされたクロスモーダル予測をLeJEPA/SIGReg目的関数のもとで行う。評価時には視覚のみが入力される。RH20Tコーパスを用いた評価では、視覚のみの潜在表現が、エンドエフェクタ状態、特に力覚の回復において、凍結されたViT特徴量や計算量を一致させた視覚のみの対照モデルを上回った。一方、モーター状態（カメラでほぼ観測可能）では、最強の視覚ベースラインと統計的に同等だった。単一のエンコーダが4種類のロボットをカバーし、データ量を一致させた対照実験により、この汎用性はデータ量ではなく身体性の多様性に起因することが示された。凍結された潜在表現は、クロスモーダル予測誤差を利用した訓練不要の無効状態モニターとして機能し、範囲外状態でAUROC 0.90、シーン交換状態で0.69を達成した。また、拡散デコーダ（PixNerd）が潜在表現からカメラフレームを再構成し、空間圧縮が世界状態を保持することを確認した。
Key Facts
| Kepler-Encoder-v0.1は、ロボットの状態をモダリティとして扱い、視覚・ proprioception・力覚を単一の共有潜在空間に融合する。 | [1] |
| 評価時には視覚のみが入力され、視覚のみの潜在表現が力覚の回復において既存の視覚特徴量を上回る。 | [1] |
| RH20Tコーパスを用いた評価で、視覚のみの潜在表現はエンドエフェクタ状態と力覚の回復で優れるが、モーター状態では視覚ベースラインと統計的に同等。 | [1] |
| 単一のエンコーダが4種類のロボットをカバーし、データ量を一致させた対照実験により身体性の多様性に起因することが示された。 | [1] |
| 凍結された潜在表現は訓練不要の無効状態モニターとして機能し、範囲外状態でAUROC 0.90、シーン交換状態で0.69を達成。 | [1] |
本紙の見方
今回の発表は、ロボット知覚における埋め込みモデルの設計に一石を投じるものだ。従来の視覚中心のアプローチでは、力覚や接触情報は単一フレームからはほとんど読み取れず、視覚特徴量の力覚予測精度はR^2が0.10以下と低い。Kepler-Encoder-v0.1は、訓練時にロボットの状態をモダリティとして融合することで、評価時には視覚のみで力覚情報を回復できることを示した。これは、訓練時のマルチモーダル情報が視覚エンコーダに暗黙の知識を注入することを意味し、推論時のセンサー負荷を減らせる可能性がある。 本紙の過去報道との接続はないが、ロボット基盤モデルの研究動向として、身体性を考慮した表現学習が進んでいる流れと一致する。特に、単一のエンコーダが複数のロボットに適用可能である点は、汎用性の高いロボット知覚基盤への一歩とみられる。 業界構造への含意として、この技術はロボットの力制御や安全監視に影響を与える可能性がある。訓練不要の無効状態モニターは、ロボットの異常検知を低コストで実現できる。また、視覚のみで力覚を推定できることは、センサーコストの削減や、力覚センサーが設置しにくい環境でのロボット運用を可能にする。 未確定の論点として、論文は単一タイムステップの検証に留まっており、時間的融合が次のステップとされている。実ロボットでの性能や、計算コスト、他のデータセットでの汎化性は未検証である。また、力覚回復の絶対精度は控えめであり、実用化にはさらなる改善が必要とみられる。
なぜ重要か
ロボットが環境と物理的に相互作用する際、力覚情報は不可欠だが、視覚だけでは捉えにくい。Kepler-Encoder-v0.1は、訓練時のマルチモーダル融合により、推論時には視覚のみで力覚を推定する道を開く。これは、ロボットのセンサー構成を簡素化し、力制御や安全監視の新たな手法につながる可能性がある。