NVIDIA RTX PRO 4000 Blackwell SFF (24 GB) を使用し、Qwen3.8 27Bの推論環境を構築しました。平均スループットは50.44 tok/sです。
261,500トークンの入力と256トークンの生成を含む、実質的な256Kコンテキスト運用も検証しました。キャッシュの末端でも12.61 tok/sを維持し、メモリ不足は発生していません。
モデルは64層のdense構成です。Gated DeltaNet層3つとフルアテンション層1つのパターンが繰り返され、KVキャッシュを必要とするのは16層のみです。これにより256Kコンテキストのメモリ負荷が軽減されています。
量子化はQ4_0を採用しました。IQ4_XSやQ4_K_Mと比較し、速度と品質のバランスが優れていたためです。MTPによる投機的デコーディングも有効で、ターゲットのみとの比較では2.81倍のスループット向上を確認しました。
カスタムllama.cppビルドは、標準マスターに対して21.97%高速化されています。個別の最適化要素を単純に足し合わせた数値ではなく、統合されたシステムとしての性能です。
出典: Qwen3.8 27B at 256K: 50 TPS on a 24 GB GPU（HN 38pt・36コメント）（HN Search (backfill)、2026-08-17）