Ollama 本地与云端运行开源模型

它是什么

Ollama 是一个应用加命令行工具，能在你自己的电脑上运行开源模型，登录后也能用 Ollama 的云端。它的 README 开头说，要用开源模型开始构建，并且本地或云端都能用上最新的版本，还强调“complete privacy”（完全隐私）。你用名字拉取一个模型，在终端里和它聊天，也可以在代码里通过本机 11434 端口上的 REST API 调用它。ollama launch 命令能把 Claude Code、Codex 和 OpenCode 这类编程智能体指向它的模型。

1. 你安装应用，或者在 Docker 里运行镜像
2. ollama run 下载一个模型并开始聊天
3. 本地服务在 localhost 的 11434 端口应答
4. 你的代码和编程智能体向这个地址发请求
5. 登录后，云端模型会在 Ollama 的服务器上运行

适合谁

想在自己机器上用开源模型的开发者和爱折腾的人，也适合想让 Claude Code、Codex 或 OpenCode 换一个模型来跑的人。磁盘或内存紧张的话就不用考虑了。快速入门里那个小示例模型要下载 7.2 GB，文档建议配 8 GB 显存，macOS 和 Windows 的页面还说模型可以大到几十到几百 GB。

用在哪里

Ollama 能在 macOS、Windows 和 Linux 上运行，也有 Docker 镜像。它的 README 和文档列出了这些连接其他工具的办法。

• Claude Code、Codex、Copilot CLI、OpenCode 和 Droid：分别用 ollama launch claude、ollama launch codex、ollama launch copilot、ollama launch opencode 和 ollama launch droid 启动
• DeepSeek 的开源编程智能体（开发者预览版）：ollama launch dsh
• OpenClaw：一个个人助理，能连上 WhatsApp、Telegram、Slack、Discord 等
• macOS 上的 Claude 和 ChatGPT 桌面应用：在 Ollama 应用的 Apps 页面里连接
• VS Code 通过 Ollama 扩展使用，Zed 通过它的大模型提供方设置使用
• 你自己的代码：REST API、Python 和 JavaScript 库，以及兼容 OpenAI 和 Anthropic 的地址

如何设置

点“获取”会把一个装有 Mindket 安装说明的 zip 压缩包存进你的下载文件夹，里面按 Ollama 的 README 和文档，给每个平台和每个工具各写了一页。主要途径是你所用系统的安装命令或安装包。

1. 用你所用系统的命令安装 Ollama，或者下载安装包。
2. 打开应用，或者在终端里运行 ollama 并跟着提示走。要用云端模型就登录，否则选一个本地模型。
3. 和一个模型聊天，比如 ollama run gemma4:e2b。输入 /bye 退出。
4. 要接入编程智能体，就运行 ollama launch 加上智能体的简称，比如 claude 或 copilot。

curl -fsSL https://ollama.com/install.sh | sh

irm https://ollama.com/install.ps1 | iex

第一条给 macOS 和 Linux，第二条给 Windows PowerShell。两条都会下载一个脚本并立刻运行它。

ollama run gemma4:e2b

如何使用

在终端里拉取模型再聊天，或者让某个工具连到这个服务。日常用到的命令不多。

ollama pull gemma4
ollama ls
ollama ps
ollama stop gemma4
ollama rm gemma4

它们依次是下载模型、列出你有的模型、显示已加载的模型、停止一个已加载的模型和删除一个模型。不带名字运行 ollama launch，会打开一个交互式设置，列出它支持的工具。其他程序通过 http://localhost:11434 访问这个服务。

示例

你想让 Claude Code 用一个 Ollama 模型回答关于某个项目的问题。在项目文件夹里运行下面这条命令。

ollama launch claude

快速入门说，Claude Code 没装的话，Ollama 会提出帮你安装，并在提示时让你选模型。然后输入快速入门给的这句提示词。

Explain how this repository is organized.

仓库比较大的话，Claude Code 的页面说要把上下文长度设到 64k 或更高。在应用里是设置下面的一个滑块，在命令行里则是 OLLAMA_CONTEXT_LENGTH=64000 ollama serve。

新手与专家

新手：模型是一个预测文字的大文件。Ollama 把它下载下来、装进内存，再给你一个聊天提示符，还有一个本机地址，其他程序可以调用。先运行 ollama run gemma4:e2b，随便问它点什么。然后在第二个终端里运行 ollama ps。它的 PROCESSOR 一列会告诉你，模型是在 GPU、CPU，还是两边都占了。

专家：README 说它支持的后端是 llama.cpp。本机服务（http://localhost:11434）和 ollama.com 提供同样的 API：Ollama API、OpenAI Chat Completions 和 Responses，以及 Anthropic Messages。换掉基础地址，并为 ollama.com 加上 API 密钥，就能让工具在本地和云端之间切换。文档说 OpenAI 和 Anthropic 两条路线各自只覆盖原 API 的一个子集，而且 Responses 请求是无状态的。

FAQ 说所需内存按 OLLAMA_NUM_PARALLEL（默认 1）乘以 OLLAMA_CONTEXT_LENGTH 来增长。OLLAMA_MAX_LOADED_MODELS 默认是 GPU 数量的 3 倍，纯 CPU 时是 3，OLLAMA_MAX_QUEUE 默认是 512。只要后端和设备支持，就会用上 Flash Attention。启用 Flash Attention 时，OLLAMA_KV_CACHE_TYPE 可以把 K/V 缓存设成 q8_0，FAQ 说它大约只占 f16 一半的内存，或者设成 q4_0，大约占四分之一。

按 OpenCode 页面的说法，ollama launch 不会动 OpenCode 自己的配置文件。它给 Codex 用一个专用的配置档，用 ollama launch codex --restore 可以移除。

注意事项

大部分内容在你的电脑上运行，有几条路径会连到外面。

• 账号：本地模型不需要账号。云端模型需要登录或一个 API 密钥，Cloud 页面给出了用量（ollama.com/settings/usage）和套餐（ollama.com/pricing），快速入门把用量限制指向了这个页面
• 什么会离开你的电脑：FAQ 说，在本地运行时，制作方看不到你的提示词。对云端模型，它说提示词和回复会被处理，但不会存储或记录，也绝不用于训练
• 账号数据：FAQ 说 Ollama 会为云端功能收集基本的账号信息和有限的使用元数据，其中不含提示词或回复的内容
• 关掉云端：设置 OLLAMA_NO_CLOUD=1，或者在 ~/.ollama/server.json 里设置 disable_ollama_cloud，就会关掉云端模型和网页搜索
• 本地服务：它默认绑定 127.0.0.1 的 11434 端口，Authentication 页面说本地 API 不需要认证。想用 OLLAMA_HOST 把它暴露出去之前要三思
• 安装命令：它们把下载的脚本直接交给你的 shell，想知道脚本做了什么，就先自己读一遍
• 更新：在 macOS 和 Windows 上，应用会自己下载更新，点菜单栏或任务栏图标里的“Restart to update”才会装上。安装时它还会登记为登录项，可在任务管理器的“启动应用”或 macOS 的登录项里关掉开机启动
• 上下文长度：默认值跟着你的显存走，Context length 页面要求智能体和编程工具至少用 64000 个 token。FAQ 却还写着 4096，所以用 ollama ps 查一下你的实际值
• 其他工具：ollama launch 会提出帮你安装 Claude Code、OpenCode 和 OpenClaw，但 Codex 要先装好。OpenClaw 第一次启动会显示一份关于工具权限的安全提示，DeepSeek 的编程智能体还是开发者预览版，它的上游配置在不同版本之间可能有变化
• 模型：在 macOS 和 Windows 上，它们放在你主目录的 .ollama 文件夹里，在 Linux 上放在 /usr/share/ollama 下。OLLAMA_MODELS 可以改位置，文档给了 macOS、Windows 和 Linux 的卸载步骤，没有给 Docker 的
• 许可证：MIT。LICENSE 文件写的是“Copyright (c) Ollama”