表形式基盤モデルを訓練不要のワールドモデルとして評価する

- 本論文は、pretrained tabular foundation model (TabFM) を training-free の dynamics model（world model）として使えるかを評価した研究。 - next-state prediction を transition pairs 上の in-context regression として定式化し、TabFM が有効な場面と破綻する場面を調べる。 - 評価対象は synthetic dynamical systems と robot locomotion benchmarks。

- 従来の world model は model-based reinforcement learning や robot planning の構成要素だが、通常は大量の interaction data を用いた task-specific training を必要とする。 - 本研究は training を不要にする点を狙い、同じ限られた transitions から学習する LSTM や MLP と比較。 - ほぼ全ての設定で TabFM は LSTM/MLP より高精度。locomotion では同一データに適合した regressors 中で最も高精度。 - ただし滑らかな低次元系では Gaussian process がより高精度で、full dataset で学習したモデルには多くの系で大きく劣る。

- next-state prediction を、transition pairs を context とした in-context regression として扱い、TabFM を training-free の dynamics model として利用。 - 与えられた limited transitions をそのまま context として推論時に回帰させる点が肝。 - autoregressive な multi-step rollout を行い、与える context 長が精度に与える影響を評価。 - 比較対象として LSTM、MLP、Gaussian process、同一データに適合した regressors、full dataset 学習モデル、trivial baseline を用いる。

- synthetic dynamical systems と robot locomotion benchmarks 上で評価。 - 同一の限られた transitions から学習した LSTM および MLP と精度を比較。 - 同一データに適合した regressors や Gaussian process とも比較。 - full dataset で学習したモデルとの比較、autoregressive multi-step rollout の精度評価、推論速度の比較も実施。

- TabFM の rollout 精度は与える context 量に強く依存。short context では trivial baseline 水準まで急速に劣化し、long context では大幅に改善、ある locomotion task では trained LSTM を上回る。 - 推論は LSTM より約 three orders of magnitude 遅い。 - 現状では training-free priors はデータが乏しく十分な context がある場合の predictor としては有用だが、planning における trained world models の代替にはまだならない、という結論。

- 本論文で比較対象となった LSTM、MLP、Gaussian process などの world model / regressor 手法。 - full dataset で学習する従来の model-based reinforcement learning における trained dynamics model。 - in-context regression を用いる tabular foundation model (TabFM) 系の研究。 - robot locomotion benchmarks における world model 研究。