Ripple: 組み込み推論のための期限考慮型CPU-GPU共有スケジューラ

- 対象: unified-memory な edge device 上で、LLM/VLM inference と perception/control 向けの time-critical な CPU task を同居させる状況 - 課題: GPU memory traffic が CPU task を圧迫するが、DGX Spark 等では bandwidth counter も直接的な bandwidth regulation も使えない - 提案: Ripple という CPU-GPU co-scheduler。model 由来の GPU memory volume と CPU completion feedback で干渉を制御 - 構成: inference を pausable な layer-based unit に分割し、各 CPU job の deadline slack を GPU-byte budget に変換、重複する全 job の budget 内で work を admit - 実装: SGLang engine hooks と central schedul…

- 先行研究との具体的比較は要旨からは不明 - 主張される特長: bandwidth counter や直接的な bandwidth regulation を欠く DGX Spark 上で動作する co-scheduler - 評価対象中、2% CPU deadline-miss target と VLM deadline を tested deadline settings 全体で一貫して満たす唯一の手法と主張 - 併せて best-effort の LLM throughput を維持 - 単純な優先度制御ではなく deadline slack を GPU-byte budget に翻訳する点が差分として示唆される

- inference を pausable な layer-based unit に分割し、細粒度で中断・再開可能にする - 各 CPU job の deadline slack を GPU-byte budget に変換 - 重複する全 job の budget 内に収まるよう GPU work を admit - online update により変化する interference を追跡 - deadline-aware pacing と SM footprint の適切な narrowing で inference progress を保持 - model 由来の GPU memory volume と CPU completion feedback を組み合わせて干渉を調整 - SGLang engine hooks と central scheduler で実装

- DGX Spark 上で評価 - 4 種類の robotic CPU task mix と LLM/VLM inference を組み合わせて実験 - 複数の deadline setting で評価 - 指標: CPU deadline-miss 2% target の達成、VLM deadline の達成、best-effort な LLM throughput - 結果: 評価した手法中で唯一、tested deadline settings 全体で CPU 2% target と VLM deadline を一貫して満たしつつ LLM throughput を維持

- 要旨からは不明（本文での議論・限界・失敗ケースは記述なし） - 示唆される前提: bandwidth counter や直接的な bandwidth regulation を持たない platform を対象 - 評価は DGX Spark と 4 種の robotic CPU task mix に限定されており、他 hardware や他 workload への一般性は要旨からは不明

- 要旨で参照・比較されている個別研究は明記されていない - 関連手法として SGLang（実装基盤として言及） - 同分野の定番として LLM/VLM inference serving の scheduling、CPU-GPU co-scheduling、deadline-aware scheduling、unified-memory edge inference に関する研究を次に読む候補とする