# Ollama 怎么用：在自己的电脑上运行 AI 模型

> Ollama 是一个免费的开源程序，可以下载开放的 AI 模型并在你自己的电脑上运行。一条命令拉取模型，在终端里和它对话，还能让其他应用通过一个本机地址调用它。本地模型不需要账号，支持 Windows、macOS 和 Linux。

Mindket 编辑部 · 发布于 2026-11-06 · 更新于 2026-11-06 · https://mindket.com/cn/learn/tools/ollama

## 要点

- 两条命令就能让模型开口：`ollama pull` 下载，`ollama run` 打开对话。
- 本地模型不需要账号，数据也不会离开你的电脑。云端模型是例外。
- 有显卡更好但不是必需的，`ollama ps` 能看出显卡有没有在干活。
- 同一个本地服务器，既供你自己的程序使用，也能接 Claude Code 这样的工具。

## Ollama 是什么

Ollama 是一个开源程序，按[它的 GitHub 页面](https://github.com/ollama/ollama)是 MIT 许可证，作用是下载开放的 AI 模型并在你自己的机器上运行。开放模型指的是权重可以下载的模型，权重就是保存模型所学内容的大文件。Ollama 建立在 llama.cpp 之上，这个开源引擎也是 LM Studio 运行 GGUF 模型文件的方式。

它支持 Windows、macOS 和 Linux，可以在终端里用，也可以用桌面应用。两种方式背后都是你电脑上的一个小服务器，地址是 `127.0.0.1:11434`，`ollama` 命令就是在和它通信。运行本地模型是免费的，不需要账号，[FAQ](https://docs.ollama.com/faq)说对于本地模型，Ollama 看不到你的提示词和数据。云端模型是例外：它们在 ollama.com 上运行，需要登录。

## Ollama 适合做什么

- **和开放模型私下聊天**：运行 `ollama run gemma4:e2b`，也就是[快速入门](https://docs.ollama.com/quickstart)用的第一个模型，就会在终端里打开对话。
- **问一句，答一句**：在模型名后面加一段带引号的提示词，Ollama 只打印一个回答，写脚本时很方便。
- **读图片**：用能看图的模型，把文件路径写进提示词，问它图里是什么。
- **给自己的程序用的本地 API**：`127.0.0.1:11434` 上的服务器会回应 curl、Python 或任何能调用它的应用发来的请求。
- **把文字变成数字**：`ollama run embeddinggemma "Hello world"` 会打印一串数字，搜索工具就靠比较这些数字。
- **给编程智能体用本地模型**：`ollama launch` 会配置 OpenCode、Claude Code、Codex、VS Code 或 Droid，让它们改连你自己的服务器，[CLI 参考](https://docs.ollama.com/cli)里列着这些工具。
- **来自 Hugging Face 的模型**：`ollama run hf.co/{username}/{repository}` 能运行 Hub 上的 GGUF 仓库，[Hugging Face 的 Ollama 页面](https://huggingface.co/docs/hub/ollama)有说明。

## 什么时候用 Ollama，什么时候换别的工具

想让模型跑在自己的硬件上，Ollama 就合适。想用最强的模型，托管的 AI 助手更好，因为最大的模型在一台普通电脑上装不下。

| 你要做的事 | 用 Ollama 吗？ | 或者试试 |
| --- | --- | --- |
| 不用账号，在自己的电脑上和开放模型聊天 | 用，拉取一次、运行一次就行 | LM Studio，喜欢带窗口的应用就选它 |
| 不让提示词和文件交给云服务 | 用，针对本地模型 | 不需要别的 |
| 从最大的模型得到最好的回答 | 配置一般的机器上不行，内存会先不够用 | ChatGPT、Claude、Gemini 或 DeepSeek |
| 试一个在 Hugging Face 上找到的模型 | 用，前提是仓库里有 GGUF 文件 | Hugging Face，用来浏览模型、读模型卡 |
| 给自己的程序一个可以调用的模型 | 用，通过本地服务器 | Hugging Face 推理服务商，适合在家跑不动的大模型 |
| 让编程智能体跑在本地模型上 | 用，`ollama launch` 会配置好 | Claude Code，用 Anthropic 自己的模型 |

## Ollama 怎么一步步使用

先用[第 1 课](https://mindket.com/cn/learn/local-ai/ollama-tutorial)里的一行命令装好 Ollama。下面五张图按顺序展示了这些命令在一台 Windows 电脑上打印出来的内容。

1. 打开一个新终端，运行 `ollama -v`。出现以 ollama version 开头的一行，说明 Ollama 已经装好，终端也找得到这个命令。
   ![深色的终端画框。命令 ollama -v 用金色圈出，下一行写着：ollama version is 0.40.14。](https://mindket.com/blog/screens/ollama-tutorial-1-version.webp?v=0ca8bfd6f412)
2. 运行 `ollama pull gemma4:e2b` 下载第一个模型，大约 7.2 GB，再运行 `ollama ls` 列出硬盘上的模型。截图里的电脑已经装了 `qwen2.5:7b`，所以截图用的是它。截图里写它的地方，你换成 `gemma4:e2b` 就行。
   ![命令 ollama ls 用金色圈出，下面的表格有两个模型：gemma4:26b 占 18 GB，qwen2.5:7b 占 4.7 GB。](https://mindket.com/blog/screens/ollama-tutorial-2-list-models.webp?v=b4613f77374e)
3. 不打开对话，只问一个问题：`ollama run gemma4:e2b "Why is the sky blue?"`。第一次回答要等一会儿，Ollama 得先把模型载入内存。不写带引号的提示词，就会进入 `>>>` 对话提示符，输入 `/bye` 结束对话。
   ![命令 ollama run qwen2.5:7b 加上提示词 Why is the sky blue? 用金色圈出，下面打印着模型对瑞利散射的回答。](https://mindket.com/blog/screens/ollama-tutorial-3-run-a-prompt.webp?v=feb2f47cefaf)
4. 紧接着运行 `ollama ps`，它列出内存里的模型。PROCESSOR 列说明每个模型跑在哪里，这里写的是 `96%/4% CPU/GPU`，也就是模型大部分在系统内存里。最后一列倒数 Ollama 什么时候把它卸载。
   ![ollama ps 的输出：qwen2.5:7b 一行，5.2 GB，PROCESSOR 下面的 96%/4% CPU/GPU 用金色圈出。](https://mindket.com/blog/screens/ollama-tutorial-4-ps.webp?v=553328af61ab)
5. 用 `ollama stop gemma4:e2b` 释放内存，它什么都不打印。再运行一次 `ollama ps`，只剩表头一行，说明没有模型在内存里了。
   ![两条命令都用金色圈出：ollama stop qwen2.5:7b 什么都没打印，ollama ps 只打印了表头一行。](https://mindket.com/blog/screens/ollama-tutorial-5-stop.webp?v=06f3ea3c27e7)

*Ollama 0.40.14 在 Windows 上的真实输出，放进终端画框里展示，拍摄于 2026 年 11 月 6 日。*

> 本页顶部的视频教程会在屏幕上演示这些步骤。Windows 和 macOS 的安装包里还带有桌面应用，Sam Witteveen 的视频讲了它。

## 动手试一个例子

这四行命令会下载快速入门用的第一个模型，问它一个问题，看它在内存里的位置，再把它卸载。下载量不小，所以最好在可以一直开着的网络上开始。

````bash
ollama pull gemma4:e2b
ollama run gemma4:e2b "Why is the sky blue?"
ollama ps
ollama stop gemma4:e2b
````

- 回答是一段纯文字的简短解释。具体措辞取决于是哪个模型写的，所以你的会和截图不一样。
- 第一次 `ollama ps` 会列出这个模型，PROCESSOR 是 `100% GPU` 这样的值，如果有一部分没装进显卡，就是 `48%/52% CPU/GPU` 这样的比例。
- 停止之后的第二次 `ollama ps` 只打印表头一行。

## 让结果更好的小技巧

- 拉取之前先看 Ollama 模型库里的大小那一列。[gemma4 页面](https://ollama.com/library/gemma4)列出了从 `e2b` 到 `31b` 的标签，越大的越吃内存。
- 先从小标签开始，只要 `ollama ps` 还显示 `100% GPU`，就往上换一个尺寸。
- 关掉对话并不会释放内存。Ollama 会让模型驻留 5 分钟，所以开游戏或导出视频之前，先运行 `ollama stop`。
- 想把模型文件挪到更大的硬盘，就把 `OLLAMA_MODELS` 设成新目录，再重启 Ollama。
- 处理长文档时，用 `OLLAMA_CONTEXT_LENGTH` 或应用设置里的滑块调大上下文。

## 需要知道的限制

- 快速入门里的第一个模型建议有大约 8 GB 空闲显存。显存不够时，一部分模型会在系统内存里运行，回答会变慢。哪种模型适合你的电脑，[硬件那一课](https://mindket.com/cn/learn/local-ai/local-llm-hardware)会算给你看。
- 云端模型不是本地的。它们要先 `ollama signin`，在 Ollama 的服务器上运行，FAQ 说发给它们的提示词会在那里处理。
- 本地请求不需要 API 密钥。用 `OLLAMA_HOST=0.0.0.0:11434` 开放服务器又没配防火墙规则，谁能连上这个端口，谁就能用你的模型。
- 用 `ollama rm` 删除模型是不可逆的，下次要用得重新拉取，整个文件再下载一遍。

## YouTube 教程

- [Learn Ollama in 15 Minutes - Run LLM Models Locally for FREE](https://www.youtube.com/watch?v=UtSSMs6ObqY) (Tech With Tim)
- [How to Use Ollama (Free Local AI)](https://www.youtube.com/watch?v=btMoPRHz8eM) (Kevin Stratvert)
- [Ollama Gets a New App](https://www.youtube.com/watch?v=xN4Q98CbqqE) (Sam Witteveen)
- [What is Ollama? Running Local LLMs Made Simple](https://www.youtube.com/watch?v=5RIOQuHOihY) (IBM Technology)

## 深入学习 Ollama

- [Ollama 教程：在自己的电脑上运行 AI 模型](https://mindket.com/cn/learn/local-ai/ollama-tutorial)
- [Ollama API：从你的代码调用本地模型](https://mindket.com/cn/learn/local-ai/ollama-api)
- [本地 LLM 硬件要求：一个模型需要多少显存](https://mindket.com/cn/learn/local-ai/local-llm-hardware)

## 常见问题

### Ollama 是免费的吗？

本地模型是免费的。程序本身是 MIT 许可证的开源软件，在自己的电脑上运行模型不花钱，也不需要账号。云端模型在 ollama.com 上运行，需要登录，具体条款请看 [Ollama 自己的页面](https://ollama.com)。

### Ollama 能离线使用吗？

能，前提是模型已经在硬盘上。拉取模型需要联网，但本地模型在断网时照样能回答。云端模型例外，它们在 ollama.com 上运行。

### 运行 Ollama 需要显卡吗？

不需要。有显卡更好，但显存不够时，Ollama 会把一部分模型放在系统内存里，回答会变慢。运行 `ollama ps`，看 PROCESSOR 列就知道比例。

### Ollama 把模型存在哪里？

macOS 在 `~/.ollama/models`，Linux 在 `/usr/share/ollama/.ollama/models`，Windows 在 `C:\Users\%username%\.ollama\models`。把 `OLLAMA_MODELS` 设成空间更大的目录，再重启 Ollama，就能把它们挪走。

### 怎样让 Ollama 别再占着我的内存？

运行 `ollama stop` 加上模型名。不然 Ollama 会在最后一次请求之后让模型驻留 5 分钟，`OLLAMA_KEEP_ALIVE` 可以统一改这个等待时间。

### Ollama 能运行 Hugging Face 上的模型吗？

能，前提是仓库里有 GGUF 文件。运行 `ollama run hf.co/{username}/{repository}`，再加上 `:Q8_0` 这样的标签来选量化版本。不加标签时，如果仓库里有 `Q4_K_M`，Ollama 就用它。

### Ollama 和 LM Studio 有什么区别？

两者都在你自己的电脑上运行开放模型，也都能通过 llama.cpp 运行 GGUF 文件。Ollama 靠命令和一个本地小服务器来用，Windows 和 macOS 上还有应用。LM Studio 则是带自己窗口的应用，可以看[它那一页](https://mindket.com/cn/learn/tools/lm-studio)。

## 资料来源

- [Ollama Docs: Quickstart](https://docs.ollama.com/quickstart) (2026-11-05 查阅)
- [Ollama Docs: CLI reference](https://docs.ollama.com/cli) (2026-11-05 查阅)
- [Ollama Docs: FAQ](https://docs.ollama.com/faq) (2026-11-05 查阅)
- [GitHub: ollama/ollama](https://github.com/ollama/ollama) (2026-11-06 查阅)
- [Ollama library: gemma4](https://ollama.com/library/gemma4) (2026-11-05 查阅)
- [Hugging Face Docs: Use Ollama with any GGUF model on the Hub](https://huggingface.co/docs/hub/ollama) (2026-11-05 查阅)

[开始这一课](https://mindket.com/cn/learn/local-ai/ollama-tutorial)