← 工具

Ollama

本地运行大模型的工具,支持 Kimi、GLM、MiniMax、DeepSeek、Qwen、Gemma 等主流开源模型,Stars 170K+

#4
推荐排名
170,488
GitHub Stars
1,063,845.1
推荐得分
大模型推理 / 本地 AI
适用场景
AI工具LLM自托管

为什么需要

出海做 AI 产品,调用 OpenAI API 每月成本不低。Ollama 让你在本地跑开源模型,开发阶段零成本调试,生产环境也能自部署,不受第三方 API 限速和定价影响。

怎么用

安装后一行命令启动模型:

bash
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# 运行模型
ollama run deepseek-r1:7b

启动后自动提供 OpenAI 兼容 API:

bash
curl http://localhost:11434/v1/chat/completions   -H "Content-Type: application/json"   -d '{"model":"deepseek-r1:7b","messages":[{"role":"user","content":"hello"}]}'

使用案例

独立开发者用 Ollama + DeepSeek 在本地调试 AI 功能,确认 prompt 和输出格式没问题后再切换到线上 API。开发阶段每月省 $50+ API 费用。

注意事项

  • 定价:完全免费开源
  • 局限:需要本地有 GPU(至少 8GB 显存跑 7B 模型);CPU 也能跑但速度慢