Cactusは、オンデバイス向け小型モデルであるGemma 4 E2Bに、自身の回答が誤っているかを判定させる後学習を施したと発表しました。各回答には0から1の信頼度スコアが付随します。

開発者はこのスコアを利用し、値が高い場合はオンデバイスで完結させ、低い場合はより大規模なクラウドモデルへ処理を委ねることが可能です。Gemini 3.1 Flash-Liteへクエリの15〜35%のみをルーティングすることで、多くのベンチマークで同モデルと同等の性能に達したとしています [Hacker News]。

従来の手法である自己評価テキストの解析やトークンエントロピーによる判定は、信頼性が低いと述べています。そこでCactusは、モデルの隠れ状態から正誤信号を読み取る6.8万パラメータのプローブ層を追加しました。

このプローブは構造化データとして信頼度を返すため、回答テキストを解析する必要がありません。また、音声データで学習していないにもかかわらず、音声ベンチマークで高いAUROCを記録したといいます。これは、モダリティに依存しない正誤信号を読み取っているためとしています [Hacker News]。

重みはHuggingFaceで公開されました。コードはMITライセンスで、GitHubにて提供されています。TransformersやMLX、llama.cppなどで動作し、vLLMやSGLangへの対応も準備中とのことです [Hacker News]。

出典: Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong（HN 191pt・44コメント）（HN Search (backfill)、2026-07-23）