Mindket
中级免费

本地 AI 课程:在自己的电脑上运行 AI 模型

黑色横幅,标题是“本地 AI”,下面是“在自己的电脑上运行模型”。

这门本地 AI 课程教你在自己的电脑上运行开放 AI 模型,下载之后就能私密、离线地使用。你会安装 Ollama 并运行一个模型,用代码调用它的 API,使用 LM Studio 和它的本地服务器,最后算出一个模型需要多少内存。每一步都照着各个工具在 2026 年 11 月 5 日的文档来。

学完你能做到

  • 安装 Ollama,拉取模型,再在终端里运行、列出和删除模型。
  • 用 curl 和 Python 调用 Ollama API,做流式输出,并用 Modelfile 建一个自定义模型。
  • 在 LM Studio 里下载模型并和它对话,再通过兼容 OpenAI 的服务器和 lms 命令提供服务。
  • 根据参数量、量化和上下文长度,算出一个模型需要多少内存。
全部课程

适合谁

适合会用终端、想在自己电脑上私密离线地运行 AI 模型的人。你需要一台 Mac、Windows 或 Linux 电脑,最好有独立显卡或 Apple 芯片,代码示例还需要 Python。

课程内容

  1. 1Ollama 教程:在自己的电脑上运行 AI 模型这篇 Ollama 教程覆盖 Windows、macOS 和 Linux:安装 Ollama,下载第一个本地模型并和它对话,再学会列出、停止和删除模型,以及搬移模型文件。8 分钟
  2. 2Ollama API:从你的代码调用本地模型用 Ollama API 从代码调用本地模型:用 curl 和 Python 调 /api/generate 和 /api/chat,做流式输出,接 OpenAI 兼容接口,再用 Modelfile 固定设置。9 分钟
  3. 3LM Studio 教程:用桌面应用运行本地模型这篇 LM Studio 教程先检查硬件,再用内置搜索下载模型,和模型及你的文件对话,最后启动 OpenAI 兼容服务器,并学会 lms 命令行。8 分钟
  4. 4本地 LLM 硬件要求:一个模型需要多少显存本地 LLM 硬件要求一次算清:参数量和 GGUF 量化怎样决定模型大小,需要多少显存,以及 CPU、GPU 和 Mac 各有什么不同。7 分钟

常见问题

学这门课需要 GPU 吗?

不需要,但有会更好。Ollama 和 LM Studio 都能用处理器和系统内存运行模型,只是慢一些。Ollama 为它的快速入门模型建议 8 GB 显存,Mac 上则是同样大小的统一内存,第 4 课会教你估算其他模型的大小。

课程用的是 Ollama 还是 LM Studio?

两个都用。第 1 课和第 2 课在终端里和通过 API 使用 Ollama,第 3 课使用 LM Studio 应用、它的服务器和 lms 命令。两者都通过 llama.cpp 运行 GGUF 模型,所以第 4 课的估算对两者都适用。

在本地运行模型是私密的吗?

模型在你的电脑上运行,所以你给它的提示词和文件都留在本地。下载、应用更新和你打开的云端功能仍然要联网,而你在局域网里共享的服务器,其他设备也能访问。

学完这门课,接下来学什么?

下一门是 Hugging Face 课程。它从 Hub 讲起,这门课用到的模型和 GGUF 文件都发布在那里。

分享这门课

给本地模型接上工具

在 Mindket 浏览 MCP 服务器和它们的设置说明,再把你信任的那些加进 LM Studio 或其他运行你模型的应用。

浏览 MCP 服务器

全部课程 · 全部文章