2026-09-22
NInfer 榨出24GB單卡極限,NVFP4量化讓單卡跑出破百Token 輸出
追蹤到 GitHub 這篇技術,剛好是老黑碰到的痛點,就是「單張 24GB 消費級顯卡(RTX 3090/4090/5090)在跑 20B 以上參數模型時,其實都會顯得顯卡記憶體很吃緊」,看到這支開源專案 NInfer,作者專注把單卡進行極致壓榨,特別針對 Blackwell 架構搭配 Qwen 模型進行優化,讓 24GB 顯示卡達到破百 token/s ...
