视频用 1TB 硬盘硬扛 Kimi K3 时发生了什么
本地测试跑的是上一代 Kimi K3,不是 K3.1 Pro。UP 主选的是 1-bit 版本,把模型里的每个数压到一两个 bit,文件只占月之暗面官方版本三分之一多一点的空间,回答质量也会差一些。就算这样,还是有 14 个分卷、550 多 GB,格式是本地模型软件通用的 GGUF。
这台电脑的显存和内存都放不下,LocModel 就把剩下的部分压到 1TB 硬盘上,并提示速度会比较慢。实际速度大约每秒 0.1 个词元(词元是模型输出的单位,一个字词或它的一部分)。让模型做个自我介绍,等了老半天才蹦出“你好”,后面的“我是 Kimi,由月之暗面开发的人工智能助手”又过了好长一段时间。
电脑放不下,模型却装上了,也没有崩溃。只是照这个速度,两句话的回复要等五分钟左右。

为什么硬盘跟不上
模型每出一个词元,都要用到权重里属于它的那一部分,按我们的估算,这个 1-bit 文件每次约 22 GB。内存不到一秒就能送完。硬盘却要从整个文件里东一块西一块地读出来,再快的硬盘也要好几秒一个词元。
UP 主只说了“硬盘”,没说是固态还是机械。我们推断是固态硬盘:按同样的算法,机械硬盘一个词元要将近两分钟。
K3.1 Pro 的参数规模和 K3 一样,放到硬盘上可能同样慢。不过我们查的时候,做这类压缩版本的 Unsloth 还没有推出 1-bit 的 K3.1 Pro。
改接 Kimi API 后变了什么
接着 UP 主在同一个软件里加上 Kimi API,切换到 K3.1 Pro。计数器一下跳到每秒 140 多个词元。
先做的是一段自我介绍动画,约两分钟完成,UP 主说有点发布会的感觉。接着是一个网页里的 3D 微观世界,一次成功:拖动换角度,点一下溪流,水面就泛起涟漪。第三个是一整个游戏,UP 主在权限弹窗里点了允许,模型就把项目写进了工作文件夹。
视频后面还展示了射击游戏、台球游戏和一台能逐层拆解的涡扇发动机,是作为 Kimi 的作品拿来演示的,没交代提示词和调用方式。UP 主也说了,Kimi 生成的游戏风格都差不多。
截图是 2026 年 11 月 6 日(本文发布后一天)视频的 YouTube 页面,点赞和订阅数是当天的。点开截图可以看视频。
在 LocModel 里设置 Kimi K3.1 Pro
LocModel 是一款免费的本地模型加载器,有 Windows、macOS 和 Linux 版,UP 主两次测试用的都是它。
- 从官网下载 LocModel,解压后运行安装程序。它默认装在 C 盘,C 盘空间紧张就换个盘。
- 点顶部的一键安装,它会按检测到的显卡驱动,装好 N 卡、A 卡或 I 卡对应的推理引擎。
- 打开设置,选添加 API,服务商选 Kimi。名称和接口保持默认,填入 API Key,再点获取模型。
- 在顶部的模型列表里选 Kimi K3.1 Pro。
- 要做整个项目,先在聊天界面顶部选一个工作文件夹,再在权限弹窗里点允许,模型才能往里面写文件。
API Key 去 platform.kimi.com 申请就配 api.moonshot.cn,去 platform.kimi.ai 申请就配 api.moonshot.ai。两边都没说 Key 能互通,所以 Key 和 base URL 要配套。国际版快速入门文档说,首次充值后才能用 K3.1 Pro。
什么时候值得在自己电脑上跑模型
走 API 的话,你发出去的每条提示词和每个文件都会到月之暗面的服务器上。可视频里只有这条路快到能干活,LocModel 里或自己的代码里都能接,也不用添硬件。
不想让文件离开电脑,就在本地跑模型,前提是放得下。推理引擎装好后,LocModel 会列出你的电脑能流畅运行的开源模型,怎么自己估算可以看我们的硬件课程。模型下载好以后断网也能用,打开 LocModel 的局域网访问,同一网络里的其他程序也能调用它。
两条远程方案的价格,按各自页面列出的:
| 方案 | 页面列出的价格 | 来源 |
|---|---|---|
| Kimi API 上的 kimi-k3.1-pro | 每百万输入词元 $2,每百万输出词元 $10 | Artificial Analysis,按 Kimi API 的价格 |
| 在 Spheron 租 NVIDIA B300,按每张计 | 独占每小时 $11.52,竞价每小时 $10.13 | Spheron |
参考:用 Python 调用 kimi-k3.1-pro
月之暗面的 API 兼容 OpenAI 和 Anthropic 两种请求格式,所以 OpenAI 的 Python 库改一下 base URL 就能用。中国大陆用 https://api.moonshot.cn/v1,Key 从 platform.kimi.com 申请,中文文档里的示例就是这样。大陆以外用 https://api.moonshot.ai/v1。
这段调用我们没有实际跑过,因为需要付费的 Key。模型名和各项限制都按快速入门文档来写。OpenAI 库要 1.58 或更高版本(pip install -U openai),从这个版本起才支持 reasoning_effort:
from openai import OpenAI # 需要 openai 1.58 或更高版本
client = OpenAI(
api_key="你的_KIMI_API_KEY", # 在 platform.kimi.com 申请
base_url="https://api.moonshot.cn/v1", # 中国大陆以外:https://api.moonshot.ai/v1,Key 在 platform.kimi.ai 申请
timeout=1800, # 思考时间长:默认 600 秒超时后,库会自动重试这个付费请求
)
response = client.chat.completions.create(
model="kimi-k3.1-pro",
reasoning_effort="high", # 可选 low、high、max(默认)
messages=[
{"role": "system", "content": "只输出一个用 Three.js 的完整 HTML 文件,不要别的内容。"},
{"role": "user", "content": "做一个可交互的 3D 涡扇发动机,带爆炸图拆解滑块。"},
],
)
with open("turbofan_3d.html", "w", encoding="utf-8") as f:
f.write(response.choices[0].message.content)- K3.1 Pro 一直开着思考,没有关闭的开关。
reasoning_effort决定想多深,可选low、high和max,默认是max。 - API 把
temperature固定为 1.0、top_p固定为 0.95,n和两个惩罚参数也是固定的。请求里别传它们,所以上面的代码一个都没设。 - 文档在标准模型名旁边还列了一个
kimi-k3.1-pro-highspeed。
参考:每个 Kimi 版本要多少内存,以及硬盘速度怎么算
Kimi 并不是每出一个词元都动用整个模型。它的大部分层被拆成 896 个叫“专家”的小网络,每个词元只经过其中 16 个,外加 2 个共享专家。加上注意力层,2.8 万亿参数里每个词元动用约 1040 亿,数字来自 K3.1 Pro 的模型卡。Unsloth 给 K3 列出的数字也一样。
视频里的 1-bit 版本(下表的 594 GB)每个参数约占 1.7 bit,所以一个词元的 1040 亿参数约合 22 GB。一块快的 PCIe 4.0 固态硬盘最快每秒约读 7 GB,也要 3 秒一个词元,而选中的专家散落在文件各处,跳着读还要更慢。机械硬盘每秒只能读约 0.2 GB。
月之暗面官方的权重是 MXFP4 格式,这是一种 4-bit 的数字格式,模型训练时就按它来跑,所以官方文件本身已经和 Unsloth 无损的 8-bit 版差不多大。压到 4-bit 几乎省不了空间:Unsloth 的 4-bit K3(UD-Q4_K_XL)是 1,510 GB,只小了约 3%。
想压到 1 TB 以下,只能用 2-bit 或 1-bit。Unsloth 测过 1-bit 的代价:预测下一个词元时,它的首选和完整模型一致的比例是 78.9%。视频里的 14 个分卷对应下表的 1-bit UD-IQ1_S,在 Windows 里显示约 553 GB。模型能完整放进内存时,Unsloth 说在 B200 显卡上每秒约能生成 20 个词元。
| 版本 | 下载大小 | 跑满速需要的内存加显存 | 来源 |
|---|---|---|---|
| Kimi K3.1 Pro,月之暗面的 MXFP4 权重 | 1.56 TB,96 个文件 | 未说明,官方推荐 vLLM、SGLang 和 TokenSpeed | Hugging Face |
| Kimi K3,Unsloth 8-bit(UD-Q8_K_XL) | 1,560 GB | 1.6 TB | Unsloth |
| Kimi K3,Unsloth 2-bit(UD-Q2_K_XL) | 861 GB | 880 GB | Unsloth |
| Kimi K3,Unsloth 1-bit(UD-IQ1_S) | 594 GB | 610 GB | Unsloth |
最后核实时间:2026 年 11 月 5 日 15:40(UTC)。当时 Unsloth 公开的模型列表里有 Kimi K3 的 GGUF 和一份 K3.1 Pro 的 safetensors,没有 K3.1 Pro 的 GGUF。
常见问题
Kimi K3.1 Pro 是开源的吗?
权重公开,但许可证是月之暗面自己写的。Hugging Face 仓库用的是 Kimi K3.1 Pro License,不是 MIT 或 Apache 2.0,拿它做产品之前先读一遍仓库里的 LICENSE 文件。
Kimi K3.1 Pro 和 Kimi K3 有什么不同?
注意力层变了。按模型卡,K3.1 Pro 共 93 层,69 层是 Kimi Delta Attention,24 层是门控 DeepSeek 稀疏注意力(Gated DSA),后者取代了 K3 里全注意力的门控 MLA 层。它除了文字还能读图片,视觉编码器是 4.01 亿参数的 MoonViT-V2,上下文长度 1,048,576 个词元。
K3.1 Pro 的跑分怎么样?
在月之暗面公布的编程成绩里接近榜首。Terminal-Bench 4.0 上,K3.1 Pro 在 Claude Code 里运行,跑出 65.7%,低于 Claude Opus 5.5 的 66.4%,高于 GPT-6 Astra 的 58.2%。我们查看 Artificial Analysis 智能指数那天,它是 46 分,在 69 个模型里排第 22。发布那周有一篇报道引用这个页面时,是 55 分,在 215 个模型里排第四。
通过 API 调用 K3.1 Pro,要等多久才出结果?
第一个字出来前要等一阵。Artificial Analysis 测得平均约 153 秒才出第一个回答词元,因为模型要先思考。它的每秒约 33 个词元,是把整个请求的时间都算进去,包括前面的等待。视频里的计数器是在文字输出时计数,所以显示得高得多。
资料来源
- 零度解说在 YouTube 上:Kimi K3.1 Pro 正式开源!“作死”本地部署,硬盘都拿来当内存!实测 3T 万亿参数模型效果如何? https://www.youtube.com/watch?v=2wnFmecg6-8
- 月之暗面:Kimi-K3.1-Pro 模型卡(Hugging Face) https://huggingface.co/moonshotai/Kimi-K3.1-Pro
- Hugging Face API:moonshotai/Kimi-K3.1-Pro(文件、大小、日期) https://huggingface.co/api/models/moonshotai/Kimi-K3.1-Pro
- Hugging Face API:Unsloth 名下匹配 Kimi-K3 的模型 https://huggingface.co/api/models?author=unsloth&search=Kimi-K3
- Kimi 博客:Kimi K3.1 Pro https://www.kimi.com/en/blog/kimi-k3-1-pro
- Kimi API 文档:Kimi K3.1 Pro 快速入门 https://platform.kimi.ai/docs/guide/kimi-k3-1-pro-quickstart
- Kimi API 文档(中文版) https://platform.kimi.com/docs
- Unsloth 文档:Kimi K3 本地运行指南 https://unsloth.ai/docs/models/kimi-k3
- Artificial Analysis:Kimi K3.1 Pro 模型页 https://artificialanalysis.ai/models/kimi-k3-1-pro
- AICybr:Kimi K3.1 Pro 的 API 价格、跑分和开放权重发布(2026 年 10 月 24 日) https://aicybr.com/blog/kimi-k3-1-pro-api-open-weights-benchmarks-cyber-training
- Spheron:NVIDIA B300 租用 https://spheron.network/gpu-rental/b300/

