標籤: 地端AI部署

老黑在爬開源AI技術文件，玩地端AI大模型(LLM)的硬派高手，有提到這個SGLang工具，玩本地AI的人都知 […]

追蹤GitHub地端AI技術發現，這款名為fastllm的開源專案，以其極致C++進行優化，重新把「低配顯卡跑大模型」的可能性又拉到老黑眼前，對於喜歡把東西架在地端伺服器的技術人來說，這或許是把手邊顯卡算力發揮到極限的「黑科技」...