Mindket

Kimi K3.1 Pro 本地部署:1TB 硬盘实测说明了什么,哪条路真正能用

深色横幅,带 Kimi 的蓝色光带。左上角是放在大白色圆角方块上的月之暗面标志,旁边是几乎和标题一样大的“Kimi K3.1 Pro”字样和“实测”标签。右上角是 Mindket 的标志:六个金色小方块加上名字。标题分两行:“2.8 万亿参数模型,”和“硬盘硬扛能跑吗?”,其中“2.8 万亿”放在蓝色标签上,第二行是蓝字,下面有一道手绘线。再下面是“LocModel 本地实测对比 Kimi API”,然后是 1TB 硬盘上每秒 0.1 个词元,一个箭头,接 Kimi API 每秒 140 多个词元。右边一张倾斜的视频卡片,边缘泛着蓝光,画面是 Kimi 做出的第一人称射击游戏,带播放键和进度条,标注“画面:零度解说 YouTube 视频”;后面还叠着这段视频的 YouTube 页面。

2.8 万亿参数的 Kimi,能靠普通电脑的硬盘跑起来吗?零度解说的实测里,它确实装上了,也能回答,只是大约 10 秒才出一个词元。跑的是上一代 Kimi K3 的压缩版,LocModel 把它分摊到显卡、内存和 1TB 硬盘上。同一个软件改接 Kimi API 后,K3.1 Pro 每秒能出 140 多个词元。

要点

  • 下载之前,先算算这个版本能不能放进内存加显存。一旦溢出到硬盘,一句短回复就要等好几分钟。
  • 想在本地跑 K3.1 Pro,先去 Unsloth 的模型列表找它的 GGUF。11 月 5 日我们查的时候还没有。
  • 要用 K3.1 Pro 本身,就在 LocModel 里接 Kimi API,或者在代码里调用,只是提示词得发到月之暗面的服务器上。
本页目录
  1. 视频用 1TB 硬盘硬扛 Kimi K3 时发生了什么
  2. 为什么硬盘跟不上
  3. 改接 Kimi API 后变了什么
  4. 在 LocModel 里设置 Kimi K3.1 Pro
  5. 什么时候值得在自己电脑上跑模型
  6. 参考:用 Python 调用 kimi-k3.1-pro
  7. 参考:每个 Kimi 版本要多少内存,以及硬盘速度怎么算
  8. 常见问题
  9. 资料来源

视频用 1TB 硬盘硬扛 Kimi K3 时发生了什么

本地测试跑的是上一代 Kimi K3,不是 K3.1 Pro。UP 主选的是 1-bit 版本,把模型里的每个数压到一两个 bit,文件只占月之暗面官方版本三分之一多一点的空间,回答质量也会差一些。就算这样,还是有 14 个分卷、550 多 GB,格式是本地模型软件通用的 GGUF。

这台电脑的显存和内存都放不下,LocModel 就把剩下的部分压到 1TB 硬盘上,并提示速度会比较慢。实际速度大约每秒 0.1 个词元(词元是模型输出的单位,一个字词或它的一部分)。让模型做个自我介绍,等了老半天才蹦出“你好”,后面的“我是 Kimi,由月之暗面开发的人工智能助手”又过了好长一段时间。

电脑放不下,模型却装上了,也没有崩溃。只是照这个速度,两句话的回复要等五分钟左右。

零度解说在 YouTube 上的 11 分钟实测(中文)。硬盘加载从 3:06 开始,API 设置从 4:43 开始。

为什么硬盘跟不上

模型每出一个词元,都要用到权重里属于它的那一部分,按我们的估算,这个 1-bit 文件每次约 22 GB。内存不到一秒就能送完。硬盘却要从整个文件里东一块西一块地读出来,再快的硬盘也要好几秒一个词元。

UP 主只说了“硬盘”,没说是固态还是机械。我们推断是固态硬盘:按同样的算法,机械硬盘一个词元要将近两分钟。

K3.1 Pro 的参数规模和 K3 一样,放到硬盘上可能同样慢。不过我们查的时候,做这类压缩版本的 Unsloth 还没有推出 1-bit 的 K3.1 Pro。

改接 Kimi API 后变了什么

接着 UP 主在同一个软件里加上 Kimi API,切换到 K3.1 Pro。计数器一下跳到每秒 140 多个词元。

先做的是一段自我介绍动画,约两分钟完成,UP 主说有点发布会的感觉。接着是一个网页里的 3D 微观世界,一次成功:拖动换角度,点一下溪流,水面就泛起涟漪。第三个是一整个游戏,UP 主在权限弹窗里点了允许,模型就把项目写进了工作文件夹。

视频后面还展示了射击游戏、台球游戏和一台能逐层拆解的涡扇发动机,是作为 Kimi 的作品拿来演示的,没交代提示词和调用方式。UP 主也说了,Kimi 生成的游戏风格都差不多。

视频的 YouTube 页面。画面是一款 Kimi 生成的第一人称射击游戏,石门上方有一行英文,意为“第 1 波,共 3 波”,前景是一把枪,字幕是“Kimi K3.1 Pro 正式开源发布”。下面的标题说要“作死”本地部署,把硬盘拿来当内存,实测 3T 万亿参数模型,频道零度解说有 115 万订阅者,视频有 400 个赞。
零度解说在 YouTube 上的视频

截图是 2026 年 11 月 6 日(本文发布后一天)视频的 YouTube 页面,点赞和订阅数是当天的。点开截图可以看视频。

在 LocModel 里设置 Kimi K3.1 Pro

LocModel 是一款免费的本地模型加载器,有 Windows、macOS 和 Linux 版,UP 主两次测试用的都是它。

  1. 从官网下载 LocModel,解压后运行安装程序。它默认装在 C 盘,C 盘空间紧张就换个盘。
  2. 点顶部的一键安装,它会按检测到的显卡驱动,装好 N 卡、A 卡或 I 卡对应的推理引擎。
  3. 打开设置,选添加 API,服务商选 Kimi。名称和接口保持默认,填入 API Key,再点获取模型。
  4. 在顶部的模型列表里选 Kimi K3.1 Pro。
  5. 要做整个项目,先在聊天界面顶部选一个工作文件夹,再在权限弹窗里点允许,模型才能往里面写文件。

API Key 去 platform.kimi.com 申请就配 api.moonshot.cn,去 platform.kimi.ai 申请就配 api.moonshot.ai。两边都没说 Key 能互通,所以 Key 和 base URL 要配套。国际版快速入门文档说,首次充值后才能用 K3.1 Pro。

什么时候值得在自己电脑上跑模型

走 API 的话,你发出去的每条提示词和每个文件都会到月之暗面的服务器上。可视频里只有这条路快到能干活,LocModel 里或自己的代码里都能接,也不用添硬件。

不想让文件离开电脑,就在本地跑模型,前提是放得下。推理引擎装好后,LocModel 会列出你的电脑能流畅运行的开源模型,怎么自己估算可以看我们的硬件课程。模型下载好以后断网也能用,打开 LocModel 的局域网访问,同一网络里的其他程序也能调用它。

两条远程方案的价格,按各自页面列出的:

读于 2026 年 11 月 5 日。Spheron 的页面(10 月 21 日更新)写明每张 B300 有 288 GB 显存,所以 K3.1 Pro 的权重至少要 6 张。页面还说,万亿参数的模型能放进一台 8 卡节点。
方案页面列出的价格来源
Kimi API 上的 kimi-k3.1-pro每百万输入词元 $2,每百万输出词元 $10Artificial Analysis,按 Kimi API 的价格
在 Spheron 租 NVIDIA B300,按每张计独占每小时 $11.52,竞价每小时 $10.13Spheron

参考:用 Python 调用 kimi-k3.1-pro

月之暗面的 API 兼容 OpenAI 和 Anthropic 两种请求格式,所以 OpenAI 的 Python 库改一下 base URL 就能用。中国大陆用 https://api.moonshot.cn/v1,Key 从 platform.kimi.com 申请,中文文档里的示例就是这样。大陆以外用 https://api.moonshot.ai/v1。

这段调用我们没有实际跑过,因为需要付费的 Key。模型名和各项限制都按快速入门文档来写。OpenAI 库要 1.58 或更高版本(pip install -U openai),从这个版本起才支持 reasoning_effort:

from openai import OpenAI  # 需要 openai 1.58 或更高版本

client = OpenAI(
    api_key="你的_KIMI_API_KEY",  # 在 platform.kimi.com 申请
    base_url="https://api.moonshot.cn/v1",  # 中国大陆以外:https://api.moonshot.ai/v1,Key 在 platform.kimi.ai 申请
    timeout=1800,  # 思考时间长:默认 600 秒超时后,库会自动重试这个付费请求
)

response = client.chat.completions.create(
    model="kimi-k3.1-pro",
    reasoning_effort="high",  # 可选 low、high、max(默认)
    messages=[
        {"role": "system", "content": "只输出一个用 Three.js 的完整 HTML 文件,不要别的内容。"},
        {"role": "user", "content": "做一个可交互的 3D 涡扇发动机,带爆炸图拆解滑块。"},
    ],
)

with open("turbofan_3d.html", "w", encoding="utf-8") as f:
    f.write(response.choices[0].message.content)
  • K3.1 Pro 一直开着思考,没有关闭的开关。reasoning_effort 决定想多深,可选 low、high 和 max,默认是 max。
  • API 把 temperature 固定为 1.0、top_p 固定为 0.95,n 和两个惩罚参数也是固定的。请求里别传它们,所以上面的代码一个都没设。
  • 文档在标准模型名旁边还列了一个 kimi-k3.1-pro-highspeed。

参考:每个 Kimi 版本要多少内存,以及硬盘速度怎么算

Kimi 并不是每出一个词元都动用整个模型。它的大部分层被拆成 896 个叫“专家”的小网络,每个词元只经过其中 16 个,外加 2 个共享专家。加上注意力层,2.8 万亿参数里每个词元动用约 1040 亿,数字来自 K3.1 Pro 的模型卡。Unsloth 给 K3 列出的数字也一样。

视频里的 1-bit 版本(下表的 594 GB)每个参数约占 1.7 bit,所以一个词元的 1040 亿参数约合 22 GB。一块快的 PCIe 4.0 固态硬盘最快每秒约读 7 GB,也要 3 秒一个词元,而选中的专家散落在文件各处,跳着读还要更慢。机械硬盘每秒只能读约 0.2 GB。

月之暗面官方的权重是 MXFP4 格式,这是一种 4-bit 的数字格式,模型训练时就按它来跑,所以官方文件本身已经和 Unsloth 无损的 8-bit 版差不多大。压到 4-bit 几乎省不了空间:Unsloth 的 4-bit K3(UD-Q4_K_XL)是 1,510 GB,只小了约 3%。

想压到 1 TB 以下,只能用 2-bit 或 1-bit。Unsloth 测过 1-bit 的代价:预测下一个词元时,它的首选和完整模型一致的比例是 78.9%。视频里的 14 个分卷对应下表的 1-bit UD-IQ1_S,在 Windows 里显示约 553 GB。模型能完整放进内存时,Unsloth 说在 B200 显卡上每秒约能生成 20 个词元。

Unsloth 的数字针对 Kimi K3,它和 K3.1 Pro 一样有 2.8 万亿参数。Unsloth 的规则是内存加显存大致等于文件大小,否则“还是能跑,只是因为要从硬盘读,会慢得多”。
版本下载大小跑满速需要的内存加显存来源
Kimi K3.1 Pro,月之暗面的 MXFP4 权重1.56 TB,96 个文件未说明,官方推荐 vLLM、SGLang 和 TokenSpeedHugging Face
Kimi K3,Unsloth 8-bit(UD-Q8_K_XL)1,560 GB1.6 TBUnsloth
Kimi K3,Unsloth 2-bit(UD-Q2_K_XL)861 GB880 GBUnsloth
Kimi K3,Unsloth 1-bit(UD-IQ1_S)594 GB610 GBUnsloth

最后核实时间:2026 年 11 月 5 日 15:40(UTC)。当时 Unsloth 公开的模型列表里有 Kimi K3 的 GGUF 和一份 K3.1 Pro 的 safetensors,没有 K3.1 Pro 的 GGUF。

常见问题

Kimi K3.1 Pro 是开源的吗?

权重公开,但许可证是月之暗面自己写的。Hugging Face 仓库用的是 Kimi K3.1 Pro License,不是 MIT 或 Apache 2.0,拿它做产品之前先读一遍仓库里的 LICENSE 文件。

Kimi K3.1 Pro 和 Kimi K3 有什么不同?

注意力层变了。按模型卡,K3.1 Pro 共 93 层,69 层是 Kimi Delta Attention,24 层是门控 DeepSeek 稀疏注意力(Gated DSA),后者取代了 K3 里全注意力的门控 MLA 层。它除了文字还能读图片,视觉编码器是 4.01 亿参数的 MoonViT-V2,上下文长度 1,048,576 个词元。

K3.1 Pro 的跑分怎么样?

在月之暗面公布的编程成绩里接近榜首。Terminal-Bench 4.0 上,K3.1 Pro 在 Claude Code 里运行,跑出 65.7%,低于 Claude Opus 5.5 的 66.4%,高于 GPT-6 Astra 的 58.2%。我们查看 Artificial Analysis 智能指数那天,它是 46 分,在 69 个模型里排第 22。发布那周有一篇报道引用这个页面时,是 55 分,在 215 个模型里排第四。

通过 API 调用 K3.1 Pro,要等多久才出结果?

第一个字出来前要等一阵。Artificial Analysis 测得平均约 153 秒才出第一个回答词元,因为模型要先思考。它的每秒约 33 个词元,是把整个请求的时间都算进去,包括前面的等待。视频里的计数器是在文字输出时计数,所以显示得高得多。

资料来源

  1. 零度解说在 YouTube 上:Kimi K3.1 Pro 正式开源!“作死”本地部署,硬盘都拿来当内存!实测 3T 万亿参数模型效果如何? (2026年11月6日 查阅)https://www.youtube.com/watch?v=2wnFmecg6-8
  2. 月之暗面:Kimi-K3.1-Pro 模型卡(Hugging Face) (2026年11月5日 查阅)https://huggingface.co/moonshotai/Kimi-K3.1-Pro
  3. Hugging Face API:moonshotai/Kimi-K3.1-Pro(文件、大小、日期) (2026年11月5日 查阅)https://huggingface.co/api/models/moonshotai/Kimi-K3.1-Pro
  4. Hugging Face API:Unsloth 名下匹配 Kimi-K3 的模型 (2026年11月5日 查阅)https://huggingface.co/api/models?author=unsloth&search=Kimi-K3
  5. Kimi 博客:Kimi K3.1 Pro (2026年11月5日 查阅)https://www.kimi.com/en/blog/kimi-k3-1-pro
  6. Kimi API 文档:Kimi K3.1 Pro 快速入门 (2026年11月5日 查阅)https://platform.kimi.ai/docs/guide/kimi-k3-1-pro-quickstart
  7. Kimi API 文档(中文版) (2026年11月5日 查阅)https://platform.kimi.com/docs
  8. Unsloth 文档:Kimi K3 本地运行指南 (2026年11月5日 查阅)https://unsloth.ai/docs/models/kimi-k3
  9. Artificial Analysis:Kimi K3.1 Pro 模型页 (2026年11月5日 查阅)https://artificialanalysis.ai/models/kimi-k3-1-pro
  10. AICybr:Kimi K3.1 Pro 的 API 价格、跑分和开放权重发布(2026 年 10 月 24 日) (2026年11月5日 查阅)https://aicybr.com/blog/kimi-k3-1-pro-api-open-weights-benchmarks-cyber-training
  11. Spheron:NVIDIA B300 租用 (2026年11月5日 查阅)https://spheron.network/gpu-rental/b300/

分享本文

在自己电脑上跑开源模型

Mindket 的本地 AI 课程:Ollama、LM Studio,以及不同大小的模型要多少内存。

开始学习

本文的 Markdown 版本 · 博客 RSS 订阅 · 全部文章