CTGT社は、DeepSeek V4 Flashを教師モデルとして使用し、GPT-OSS-120Bを金融タスク向けに蒸留する実験を行ったと発表しました。
この実験では、教師モデルが持つ政治的に敏感な質問への回答傾向が、蒸留されたモデルに転移するかを検証しています。結果として、蒸留されたモデルの挙動は、元となった米国のベースモデルと同様のまま変化しなかったとしています。
検証には152組のペアを用いた評価フレームワーク「LineageEval」が使用されました。これは、中国に関連する概念と、それに対応する非中国の概念を比較する手法です。
同社は、蒸留プロセスにおいて中国に関連する機密コンテンツは含まれていないとしています。
また、実験の結果として、金融タスクにおいて高い性能を示す20Bのモデルをオープンウェイトとして公開しました。このモデルは、8kトークンの予算内でFinanceReasoningベンチマークにおいて64.71%から74.79%のスコアを記録しています。
評価フレームワークであるLineageEvalのコードとプロンプトも、GitHubで公開されています。
出典: Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it(HN 170pt・73コメント)(HN Search (backfill)、2026-07-31)