本地模型
Vane + Ollama:先看这三件事
本地模型省的是 API 费,不一定省总成本;硬件、速度和维护都要算。
1. 本地模型改变什么
查询不再按 token 付费,但你要有能跑模型的机器;电费、硬件折旧和你的时间都变成成本。Vane 通过 Ollama / LM Studio 等连接本地模型,具体支持范围以官方 README 为准。
2. 硬件大概要多少
| 模型规模 | 内存/显存粗略区间 | 适合 |
|---|---|---|
| 7B–8B(量化) | 8–16 GB | 轻量问答、试验 |
| 13B–14B(量化) | 16–32 GB | 质量/速度平衡 |
| 30B+(量化) | 32 GB 以上,最好有 GPU | 更高质量,成本更高 |
这是量级,不是保证;量化方式、上下文长度、并发和 CPU/GPU 都会改变实际需求。
3. 什么时候不值得
如果你每天只有几十次查询、没有现成硬件、又不想维护,云 API 往往更简单。用计算器把“硬件成本 ÷ 折旧月数”填进去,再和 API 模式比。
官方入口:Vane GitHub README。本页不提供一键安装脚本。