适合谁
适合会用终端、想在自己电脑上私密离线地运行 AI 模型的人。你需要一台 Mac、Windows 或 Linux 电脑,最好有独立显卡或 Apple 芯片,代码示例还需要 Python。
课程内容
- 1Ollama 教程:在自己的电脑上运行 AI 模型这篇 Ollama 教程覆盖 Windows、macOS 和 Linux:安装 Ollama,下载第一个本地模型并和它对话,再学会列出、停止和删除模型,以及搬移模型文件。
- 2Ollama API:从你的代码调用本地模型用 Ollama API 从代码调用本地模型:用 curl 和 Python 调 /api/generate 和 /api/chat,做流式输出,接 OpenAI 兼容接口,再用 Modelfile 固定设置。
- 3LM Studio 教程:用桌面应用运行本地模型这篇 LM Studio 教程先检查硬件,再用内置搜索下载模型,和模型及你的文件对话,最后启动 OpenAI 兼容服务器,并学会 lms 命令行。
- 4本地 LLM 硬件要求:一个模型需要多少显存本地 LLM 硬件要求一次算清:参数量和 GGUF 量化怎样决定模型大小,需要多少显存,以及 CPU、GPU 和 Mac 各有什么不同。
常见问题
学这门课需要 GPU 吗?
不需要,但有会更好。Ollama 和 LM Studio 都能用处理器和系统内存运行模型,只是慢一些。Ollama 为它的快速入门模型建议 8 GB 显存,Mac 上则是同样大小的统一内存,第 4 课会教你估算其他模型的大小。
课程用的是 Ollama 还是 LM Studio?
两个都用。第 1 课和第 2 课在终端里和通过 API 使用 Ollama,第 3 课使用 LM Studio 应用、它的服务器和 lms 命令。两者都通过 llama.cpp 运行 GGUF 模型,所以第 4 课的估算对两者都适用。
在本地运行模型是私密的吗?
模型在你的电脑上运行,所以你给它的提示词和文件都留在本地。下载、应用更新和你打开的云端功能仍然要联网,而你在局域网里共享的服务器,其他设备也能访问。
学完这门课,接下来学什么?
下一门是 Hugging Face 课程。它从 Hub 讲起,这门课用到的模型和 GGUF 文件都发布在那里。
