日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMプログラミングarXiv:2611.20174

重みとキャッシュ:LLMが表形式基盤モデルをプログラミング可能に

Weights & Caches: LLMs Can Program Tabular Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

GPT-6 Astraが勾配最適化なしに表形式基盤モデル(TFM)の重みやKVキャッシュを直接操作し、ゼロ初期化からの学習・故障の診断修復・予測の誘導ができることを示した研究。

詳しい要約

1. どんなもの?

- 本研究は、LLM(GPT-6 Astra)が勾配ベースの最適化を用いずに tabular foundation models(TFM)の統計計算を直接プログラムできることを示す研究である。 - TFM のパラメータや KV-cache を LLM が操作することで、推論時の振る舞いを制御・修正する枠組みを提案している。 - 対象は nanoTabPFN と TabPFN-3.5 であり、weight-space programming の考え方を TFM に拡張した位置づけである。

2. 先行研究と比べてどこがすごい?

- 従来の neural network は最適化によってプログラムされるのが一般的であり、weight-space programming の先行研究は LLM が重みを直接扱える可能性を示していた。 - 本研究はそれを TFM に拡張し、複数データセットにまたがる推論を可能にするパラメータを持つモデルに対して、LLM が統計計算を直接プログラムできることを示した点が新しい。 - 勾配ベースの最適化なしで、ゼロ初期化からのプログラミング、故障の診断・修復、KV-cache 編集による予測操作という三つの設定を扱っている点が先行研究と異なる。

3. 技術・手法の肝は?

- GPT-6 Astra を用い、勾配ベースの最適化を行わずに TFM のパラメータや KV-cache を直接操作するプログラムを生成する。 - 第一に、nanoTabPFN をゼロ初期化重みから直接プログラムする。 - 第二に、pretrained TabPFN-3.5 における signed-product regression の失敗を診断し修復する。 - 第三に、モデル重みを変更せずに KV-cache を編集するプログラムを書き、未見の合成データセット上で予測を誘導する。

4. どうやって有効だと検証した?

- 20 個の TabArena データセットにおいて、ゼロ初期化からプログラムした nanoTabPFN が平均 ROC AUC 0.849 を達成し、pretrained baseline の 0.876 と比較された。 - TabPFN-3.5 の signed-product regression 故障の修復では、held-out 合成データセット上でほぼ完全な予測を回復しつつ、TabArena-Lite での性能を維持し、平均相対誤差増加は 0.08% であった。 - KV-cache 編集では、未見の合成データセット上で線形トレンドの反転や sine wave から近似 square wave への変換などの変換を実証した。

5. 議論はある?

- LLM 駆動のプログラミングが、TFM の開発と利用の両面で勾配ベースの最適化を補完しうる可能性が示唆されている。 - TFM の内部計算を調査・介入する新たな手段を提供する点も議論されている。 - 一方で、汎用性やスケーラビリティ、他の TFM やタスクへの適用可能性についての詳細な議論は要旨からは不明である。

6. 次に読むべき論文は?

- 要旨で参照されている nanoTabPFN、TabPFN-3.5、TabArena、TabArena-Lite に関する論文。 - weight-space programming の先行研究。 - tabular foundation models(TFM)全般の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shi Bin Hoo, Magnus Buehler, Omar Swelam, Frank Hutter, Lennart Purucker

分類: cs.LG

原文アブストラクト

Neural networks are typically programmed through optimization, rather than by explicitly specifying their computations. Recent work on weight-space programming suggests that large language models (LLMs) can instead reason about and manipulate neural-network weights directly. In this work, we show that LLMs can directly program statistical computations in tabular foundation models (TFMs), whose parameters enable inference across different datasets. We investigate three complementary settings using GPT-6 Astra, without gradient-based optimization. First, Astra directly programs nanoTabPFN from zero-initialized weights, achieving a mean ROC AUC of 0.849 across 20 TabArena datasets, compared to 0.876 for a pretrained baseline. Second, Astra diagnoses and repairs a signed-product regression failure in pretrained TabPFN-3.5, restoring near-perfect predictions on held-out synthetic datasets while preserving performance on TabArena-Lite, with only a 0.08% average relative increase in error. Third, it writes KV-cache-editing programs that steer TabPFN-3.5's predictions on unseen synthetic datasets, demonstrating transformations such as reversing linear trends and converting sine waves into approximate square waves, without modifying model weights. Together, our findings suggest that LLM-driven programming could complement gradient-based optimization across TFMs' development and usage, while offering a new way to investigate and intervene in their internal computations.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI