AI 本地部署
2026-10-07
24GB 显卡跑 32B 量化模型:vLLM 与 llama.cpp 选型对比
手上有 24GB 显存的 Quadro M6000,想跑 32B 量化模型,该选 vLLM 还是 llama.cpp?本…
Linux 驱动、PVE 虚拟化、本地大模型部署、HomeAssistant 接入、软路由与群晖、3D 打印固件——每一篇都是实机跑通之后才写的。
按近 30 天使用量自动排序 · 全部为纯浏览器本地处理,不上传文件