North-Mini-Code-1.0 GGUF

North-Mini-Code-1.0 GGUF

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

由 byteshape 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：North-Mini-Code-1.0 GGUF 是 CohereLabs 的 North-Mini-Code-1.0 模型的一组量化副本，原模型是一个用于代码的 30.5B 文本生成模型。ByteShape 用 ShapeLearn 制作了它们，ShapeLearn 会为每个张量挑选数据类型，即使位数很低也能保持高质量。这些文件针对 GPU 推理做了优化。

适合谁：它适合在 llama.cpp 里本地运行编程模型、想要一个能装进自己 GPU 的大小的开发者。模型卡给出了在四个文件之间选择的规则。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 在自己的 GPU 上运行代码模型 | 用四个标签之一启动 llama-server
AI 工具 | 本地模型用户 | 选一个适合自己显卡的大小 | 选能装进显存的最小文件
研究 | 工程师 | 比较不同大小的质量和速度 | 阅读模型卡里的质量与每秒词元数图表

没有 GPU 的人可以跳过它，因为这些文件是为 GPU 推理优化的。

用在哪里：

• llama.cpp，通过 llama-server
• 服务运行后，在 localhost 上的网页界面
• Windows、macOS 或 Linux
• 模型卡做过基准测试的 GPU，如 RTX 4090、4080、5060Ti 和 5090

Title: 主要用途
Use case | Who | What they get back
本地编程帮助 | 开发者 | 自己 GPU 上的模型给出的代码回答
选择大小 | 本地模型用户 | 大小和速度与自己硬件匹配的文件
阅读基准 | 研究人员 | 以 BF16 基线为参照的质量分数

如何设置：

• 你电脑上的 Python，用于下载
• huggingface_hub 包
• 已安装的 llama.cpp
• 显存足够容纳所选文件的 GPU

1. 安装 Hugging Face 的 hub 包。
2. 下载这些文件，或者跳过这一步，让 llama.cpp 在首次运行时自己拉取一个。
3. 从下面的表格里选一个大小。
4. 用该文件的标签启动 llama-server。

pip install -U huggingface_hub
hf download byteshape/North-Mini-Code-1.0-GGUF

Title: 四个文件
Model ID | Bits per weight | File size
GPU-1 | 3.17 | 12.1 GB
GPU-2 | 4.14 | 15.8 GB
GPU-3 | 4.27 | 16.3 GB
GPU-4 | 5.64 | 21.5 GB

如何使用：复制一个模型标签，交给 llama-server。llama.cpp 会在第一次运行时下载模型。之后服务会在 localhost 上提供网页界面。

llama-server -hf <MODEL_TAG>

下面是四个标签，顺序与上面的表格一致。

byteshape/North-Mini-Code-1.0-GGUF:North-Mini-Code-1.0-IQ3_S-3.17bpw
byteshape/North-Mini-Code-1.0-GGUF:North-Mini-Code-1.0-IQ4_XS-4.14bpw
byteshape/North-Mini-Code-1.0-GGUF:North-Mini-Code-1.0-IQ4_XS-4.27bpw
byteshape/North-Mini-Code-1.0-GGUF:North-Mini-Code-1.0-IQ4_XS-5.64bpw

示例：你为 16 GB 的显卡选了 GPU-2，用它的标签运行 llama-server，等下载完成。你打开网页界面，让它用你选的语言写一个函数。模型会在聊天窗口里回复代码。

新手与专家：如果你是新手，选能装进你显存的最大文件，因为文件越大保留的质量越多。第一次尝试可以用网页界面问一个简短的编程问题。

对于专家来说，模型卡的选择规则是在你的目标速度下取质量最高的，或者取仍满足你质量要求的最快模型。质量在 LiveCodeBench V6 和 MultiPL-E HumanEval 上以思考模式测量，并以 BF16 基线归一化。像 IQ4_XS 这样的标签只是标记，并不遵循 llama.cpp 常用的配置。

按大小和速度选一个文件
复制它的模型标签
用这个标签运行 llama-server
在本地网页界面里聊天

注意事项：

• Labels: 像 IQ4_XS 这样的名称标明主要方法和平均位长，所以多个文件可以共用一个。
• GPU focus: 这些文件针对 GPU 推理做了优化，基准测试也在 GPU 上运行。
• License: Apache 2.0。
• Cost to run: 来源未提及，你需要显存足够的 GPU。
• Data it reaches: 它从 Hugging Face 下载文件，服务运行在你自己的机器上。
• Not for: 只有 CPU 的机器。

Title: 各模型 ID 的文件大小
GPU-1: 12.1 GB
GPU-2: 15.8 GB
GPU-3: 16.3 GB
GPU-4: 21.5 GB

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：30.5B
• Weights: about 15.2 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：269
• 点赞：10
• 许可证：apache-2.0
• 基于：CohereLabs/North-Mini-Code-1.0
• 标签：transformers, gguf, agent, cohere, byteshape, text-generation, conversational

链接

• 模型：https://huggingface.co/byteshape/North-Mini-Code-1.0-GGUF
• 文件：https://huggingface.co/byteshape/North-Mini-Code-1.0-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download byteshape/North-Mini-Code-1.0-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。