Apple Machine Learningの研究者らは、フローマッチングモデルを誘導するための「probe guidance」と呼ばれる新しい手法を発表しました。このアプローチは、既存の拡散モデルの凍結された内部状態を使用してガイダンス信号を構築します。研究者らによると、この手法はオートガイディング（autoguiding）と似た原理で動作しますが、推論時における追加のフォワードパスを不要にしつつ、弱モデルと強モデルが同様のダイナミクスを共有することを保証します。
連続的な拡散言語モデルのベンチマークにおいて、probe guidanceは無条件生成における新たなSOTA（最先端）の性能を記録しました。この手法を1.7Bの拡散言語モデルに適用したところ、多肢選択式の質問回答ベンチマークにおいて一貫した性能向上が見られました。
さらに、本研究では従来のオートガイディング設定の背後にあるメカニズムについても調査が行われました。その結果、オートガイディングを効果的に機能させるためには、弱モデルがトレーニングの低エントロピー領域に由来している必要があることが判明しました。これらの知見は、拡散言語モデルを強化する実用的な方法を提供するとともに、オートガイディングのメカニズムに関する新たな洞察を与えるものです。
出典
- How to Guide Your Language Flow （Apple Machine Learning, 2026-09-23）
- arXiv