Qwen3.8 27Bの量子化モデルに関する検証の結果、4-bit（Q4_K_M）は、エージェント向けコーディングベンチマークのTerminal-Bench 2.1においてフルモデル（BF16）と同等の性能を維持することが示されました。4-bitモデルは17GBのサイズとなり、RTX 4090などの24GBメモリを搭載したコンシューマー向けGPUでも、約64,000トークンのコンテキストを保持した状態で動作可能です。

一方で、量子化が進むと性能の低下は非線形に発生します。2-bitモデルでは一部のベンチマークでスコアが低下するものの、実用的な水準を保っています。しかし、1-bitモデルでは性能が劇的に悪化し、GPQA Diamondなどのベンチマークにおいてランダムな推測と同程度の水準まで低下することが確認されました。

また、このモデルには推論の深さを調整できる「reasoning_effort」機能が備わっていますが、デフォルト設定では過度に推論を行う傾向があることも指摘されています。これに対し、Multi-Token Prediction（MTP）などの手法を併用することで、推論速度を大幅に向上できる可能性も示されています。

出典: