Ollama 是什么
Ollama 是一个开源程序，按它的 GitHub 页面是 MIT 许可证，作用是下载开放的 AI 模型并在你自己的机器上运行。开放模型指的是权重可以下载的模型，权重就是保存模型所学内容的大文件。Ollama 建立在 llama.cpp 之上，这个开源引擎也是 LM Studio 运行 GGUF 模型文件的方式。
它支持 Windows、macOS 和 Linux，可以在终端里用，也可以用桌面应用。两种方式背后都是你电脑上的一个小服务器，地址是 127.0.0.1:11434，ollama 命令就是在和它通信。运行本地模型是免费的，不需要账号，FAQ说对于本地模型，Ollama 看不到你的提示词和数据。云端模型是例外：它们在 ollama.com 上运行，需要登录。
Ollama 适合做什么
- 和开放模型私下聊天：运行
ollama run gemma4:e2b，也就是快速入门用的第一个模型，就会在终端里打开对话。 - 问一句，答一句：在模型名后面加一段带引号的提示词，Ollama 只打印一个回答，写脚本时很方便。
- 读图片：用能看图的模型，把文件路径写进提示词，问它图里是什么。
- 给自己的程序用的本地 API：
127.0.0.1:11434上的服务器会回应 curl、Python 或任何能调用它的应用发来的请求。 - 把文字变成数字：
ollama run embeddinggemma "Hello world"会打印一串数字，搜索工具就靠比较这些数字。 - 给编程智能体用本地模型：
ollama launch会配置 OpenCode、Claude Code、Codex、VS Code 或 Droid，让它们改连你自己的服务器，CLI 参考里列着这些工具。 - 来自 Hugging Face 的模型：
ollama run hf.co/{username}/{repository}能运行 Hub 上的 GGUF 仓库，Hugging Face 的 Ollama 页面有说明。
什么时候用 Ollama，什么时候换别的工具
想让模型跑在自己的硬件上，Ollama 就合适。想用最强的模型，托管的 AI 助手更好，因为最大的模型在一台普通电脑上装不下。
| 你要做的事 | 用 Ollama 吗？ | 或者试试 |
|---|---|---|
| 不用账号，在自己的电脑上和开放模型聊天 | 用，拉取一次、运行一次就行 | LM Studio，喜欢带窗口的应用就选它 |
| 不让提示词和文件交给云服务 | 用，针对本地模型 | 不需要别的 |
| 从最大的模型得到最好的回答 | 配置一般的机器上不行，内存会先不够用 | ChatGPT、Claude、Gemini 或 DeepSeek |
| 试一个在 Hugging Face 上找到的模型 | 用，前提是仓库里有 GGUF 文件 | Hugging Face，用来浏览模型、读模型卡 |
| 给自己的程序一个可以调用的模型 | 用，通过本地服务器 | Hugging Face 推理服务商，适合在家跑不动的大模型 |
| 让编程智能体跑在本地模型上 | 用，ollama launch 会配置好 | Claude Code，用 Anthropic 自己的模型 |
Ollama 怎么一步步使用
先用第 1 课里的一行命令装好 Ollama。下面五张图按顺序展示了这些命令在一台 Windows 电脑上打印出来的内容。
打开一个新终端，运行
ollama -v。出现以 ollama version 开头的一行，说明 Ollama 已经装好，终端也找得到这个命令。
运行
ollama pull gemma4:e2b下载第一个模型，大约 7.2 GB，再运行ollama ls列出硬盘上的模型。截图里的电脑已经装了qwen2.5:7b，所以截图用的是它。截图里写它的地方，你换成gemma4:e2b就行。
不打开对话，只问一个问题：
ollama run gemma4:e2b "Why is the sky blue?"。第一次回答要等一会儿，Ollama 得先把模型载入内存。不写带引号的提示词，就会进入>>>对话提示符，输入/bye结束对话。
紧接着运行
ollama ps，它列出内存里的模型。PROCESSOR 列说明每个模型跑在哪里，这里写的是96%/4% CPU/GPU，也就是模型大部分在系统内存里。最后一列倒数 Ollama 什么时候把它卸载。
用
ollama stop gemma4:e2b释放内存，它什么都不打印。再运行一次ollama ps，只剩表头一行，说明没有模型在内存里了。
Ollama 0.40.14 在 Windows 上的真实输出，放进终端画框里展示，拍摄于 2026 年 11 月 6 日。
本页顶部的视频教程会在屏幕上演示这些步骤。Windows 和 macOS 的安装包里还带有桌面应用，Sam Witteveen 的视频讲了它。
动手试一个例子
这四行命令会下载快速入门用的第一个模型，问它一个问题，看它在内存里的位置，再把它卸载。下载量不小，所以最好在可以一直开着的网络上开始。
ollama pull gemma4:e2b
ollama run gemma4:e2b "Why is the sky blue?"
ollama ps
ollama stop gemma4:e2b- 回答是一段纯文字的简短解释。具体措辞取决于是哪个模型写的，所以你的会和截图不一样。
- 第一次
ollama ps会列出这个模型，PROCESSOR 是100% GPU这样的值，如果有一部分没装进显卡，就是48%/52% CPU/GPU这样的比例。 - 停止之后的第二次
ollama ps只打印表头一行。
让结果更好的小技巧
- 拉取之前先看 Ollama 模型库里的大小那一列。gemma4 页面列出了从
e2b到31b的标签，越大的越吃内存。 - 先从小标签开始，只要
ollama ps还显示100% GPU，就往上换一个尺寸。 - 关掉对话并不会释放内存。Ollama 会让模型驻留 5 分钟，所以开游戏或导出视频之前，先运行
ollama stop。 - 想把模型文件挪到更大的硬盘，就把
OLLAMA_MODELS设成新目录，再重启 Ollama。 - 处理长文档时，用
OLLAMA_CONTEXT_LENGTH或应用设置里的滑块调大上下文。
需要知道的限制
- 快速入门里的第一个模型建议有大约 8 GB 空闲显存。显存不够时，一部分模型会在系统内存里运行，回答会变慢。哪种模型适合你的电脑，硬件那一课会算给你看。
- 云端模型不是本地的。它们要先
ollama signin，在 Ollama 的服务器上运行，FAQ 说发给它们的提示词会在那里处理。 - 本地请求不需要 API 密钥。用
OLLAMA_HOST=0.0.0.0:11434开放服务器又没配防火墙规则，谁能连上这个端口，谁就能用你的模型。 - 用
ollama rm删除模型是不可逆的，下次要用得重新拉取，整个文件再下载一遍。
深入学习 Ollama
- 1Ollama 教程：在自己的电脑上运行 AI 模型这篇 Ollama 教程覆盖 Windows、macOS 和 Linux：安装 Ollama，下载第一个本地模型并和它对话，再学会列出、停止和删除模型，以及搬移模型文件。
- 2Ollama API：从你的代码调用本地模型用 Ollama API 从代码调用本地模型：用 curl 和 Python 调 /api/generate 和 /api/chat，做流式输出，接 OpenAI 兼容接口，再用 Modelfile 固定设置。
- 4本地 LLM 硬件要求：一个模型需要多少显存本地 LLM 硬件要求一次算清：参数量和 GGUF 量化怎样决定模型大小，需要多少显存，以及 CPU、GPU 和 Mac 各有什么不同。
常见问题
Ollama 是免费的吗？
本地模型是免费的。程序本身是 MIT 许可证的开源软件，在自己的电脑上运行模型不花钱，也不需要账号。云端模型在 ollama.com 上运行，需要登录，具体条款请看 Ollama 自己的页面。
Ollama 能离线使用吗？
能，前提是模型已经在硬盘上。拉取模型需要联网，但本地模型在断网时照样能回答。云端模型例外，它们在 ollama.com 上运行。
运行 Ollama 需要显卡吗？
不需要。有显卡更好，但显存不够时，Ollama 会把一部分模型放在系统内存里，回答会变慢。运行 ollama ps，看 PROCESSOR 列就知道比例。
Ollama 把模型存在哪里？
macOS 在 ~/.ollama/models，Linux 在 /usr/share/ollama/.ollama/models，Windows 在 C:\Users\%username%\.ollama\models。把 OLLAMA_MODELS 设成空间更大的目录，再重启 Ollama，就能把它们挪走。
怎样让 Ollama 别再占着我的内存？
运行 ollama stop 加上模型名。不然 Ollama 会在最后一次请求之后让模型驻留 5 分钟，OLLAMA_KEEP_ALIVE 可以统一改这个等待时间。
Ollama 能运行 Hugging Face 上的模型吗？
能，前提是仓库里有 GGUF 文件。运行 ollama run hf.co/{username}/{repository}，再加上 :Q8_0 这样的标签来选量化版本。不加标签时，如果仓库里有 Q4_K_M，Ollama 就用它。
Ollama 和 LM Studio 有什么区别？
两者都在你自己的电脑上运行开放模型，也都能通过 llama.cpp 运行 GGUF 文件。Ollama 靠命令和一个本地小服务器来用，Windows 和 macOS 上还有应用。LM Studio 则是带自己窗口的应用，可以看它那一页。
资料来源
- Ollama Docs: Quickstart https://docs.ollama.com/quickstart
- Ollama Docs: CLI reference https://docs.ollama.com/cli
- Ollama Docs: FAQ https://docs.ollama.com/faq
- GitHub: ollama/ollama https://github.com/ollama/ollama
- Ollama library: gemma4 https://ollama.com/library/gemma4
- Hugging Face Docs: Use Ollama with any GGUF model on the Hub https://huggingface.co/docs/hub/ollama