slotstreamは、125BパラメータのQwen3.8-Flash-Nextを4bit量子化で低メモリMac上で実行するためのツールとして公開された。MLXとSwiftを用いたMacネイティブ実装で、エキスパートオフロードとSSDストリーミングにより、通常100GB以上のメモリを要するモデルを最小16GBメモリから動作させるとしている。

48GB Mac上で約12 tok/sの実行速度を達成しているという。同ツールにはauto-modeが同梱されており、メモリ使用量と速度のバランスを自動調整する機能を提供している。インストールや更新も容易に行えるとされている。

開発者は次のステップとして、投機的デコーディング用のMTPモジュールの実装と移植を行う予定としている。


出典: Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s(Hacker News Frontpage、2026-09-02)