言語モデル/評価指標2026/8/18arXiv:2608.17744

低リソース言語での思考：SFTが構築するもの、RLが修正するもの、精度では見えないもの

Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See

低リソース言語での推論に特化してモデルを微調整し、精度指標では変化が見えない一方で、思考言語の切り替えや形式遵守などの行動的変化を新たな評価軸で測定・改善した研究。

詳しい要約

1. どんなもの？

本研究は、低リソース言語（ギリシャ語）での推論を対象に、3つのフロンティアMixture-of-Expertsモデル（Alibaba、OpenAI、NVIDIA、各3.6-4.0Bアクティブパラメータ）をSFTおよびRLで微調整し、その効果を精度指標だけでなく、行動次元（推論言語、形式遵守、漏洩など）で評価したもの。

2. 先行研究と比べてどこがすごい？

従来の研究は精度ベンチマークの向上に焦点を当てがちだが、本研究は精度が不感である行動変化（推論言語の切り替え、形式遵守など）を測定する6つの行動次元を提案し、SFTとRLの効果を可視化した点が新しい。また、ベースモデルがギリシャ語で推論しないことを示し、SFTがそれを変えることを実証。

3. 技術・手法の肝は？

手法の肝は、精度と相関しない行動指標の設計と、RL（verifiable rewards）による形式欠陥の修正。具体的には、SFTで推論言語を獲得させ、RLで形式遵守（fallback、leak）を改善。また、ランダム報酬を対照とした事前登録済み実験により、効果を検証。

4. どうやって有効だと検証した？

有効性は、ギリシャ語の質問に対する推論トレースの言語割合、形式遵守率（fallback 24%→2.5%、leak 3.5%→0.0%）、および「think in English」指示への従順率（+9.1pp）で検証。さらに、シード変更による精度変動（7.7ポイント）がデータ効果より大きいことを示し、精度指標の限界を実証。

5. 議論はある？

議論として、精度ベンチマークが小規模ではノイズが大きく、行動指標の重要性が示唆される。また、SFTが推論言語を獲得する一方で、形式欠陥を残すことが明らかになり、RLがそれを修正するが、英語での推論指示への従順性は不完全。さらに、測定機器自体の失敗（6つの失敗）を対照実験で検出した点が議論される。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連手法として、低リソース言語での推論、SFT、RL with verifiable rewards、行動指標の評価に関する研究が考えられる。具体的には、Reinforcement Learning from Human Feedback (RLHF)やDirect Preference Optimization (DPO)などの関連手法を参照することが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ayoub Kirouane, Christos Petrocheilos

分類: cs.CL, cs.LG, cs.RO, stat.ML

原文アブストラクト

Take three frontier mixture-of-experts models (Alibaba, OpenAI, NVIDIA; 3.6-4.0B active parameters each) and fine-tune them to reason in a low-resource language. On accuracy benchmarks almost nothing happens, and the benchmark itself is noise at this scale: changing only the random seed moves the score by 7.7 points, more than every data and recipe effect we measured. That null is our first result. The real changes live where accuracy cannot see. Base models never think in Greek: 0 of 1,000 reasoning traces, even when the question is Greek, so the model answers correctly while reasoning in a form its user cannot read, audit, or correct. After supervised fine-tuning (SFT), every released checkpoint reasons in the language of the question on ~98% of items, one family at 3x fewer tokens, with judged grammaticality improving on all four models and general ability within a few points of each base: nothing was forgotten, and fluency was gained. We propose six behavioural dimensions that make such changes measurable, each gated to reject any metric that correlates with output length, and we report how our own instruments lied: six failures, each caught by a control. What SFT cannot do is fix its own defects: a quarter of answers skip the requested format, answers leak into the reasoning channel, and an explicit "think in English" is obeyed under half the time. Reinforcement learning with verifiable rewards, pre-registered before training, fixes the first two outright (fallback 24% to 2.5%, leak 3.5% to 0.0%, both against a flat random-reward control) and moves the third (+9.1pp), while the Greek reasoning habit survives an accuracy-only gradient untouched. We release five checkpoints. The instruments, the controls and the pre-registration travel to any low-resource language; Greek is the case that let us measure them.

arXivで原文を読む →arXiv概要ページ

← 論文一覧