Flint NVFP4 GGUF

Flint NVFP4 GGUF

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

由 RecursiveSI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Flint NVFP4 GGUF 是 Recursive Flint 文本生成模型的单个 GGUF 文件，采用 NVFP4 4-bit 格式存储。这个 22.9 GB 的文件打包了权重、分词器和聊天模板。记录里列出的参数量是 39.8B。

适合谁：有大显存 NVIDIA GPU，想通过 llama.cpp 在本地运行大模型的开发者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 对着自己的服务器运行本地编程智能体 | pi 或 OpenCode 指向本地的 llama-server
研究 | AI 实验室 | 在 Blackwell 级硬件上测试大模型 | 在一块 GPU 上做长上下文运行
信息技术 | 平台团队 | 在自己的机器上托管模型 | 团队内网里的内部模型接口

如果你的 GPU 显存不到 48 GB，或者你用的不是 NVIDIA 的卡，可以跳过它。

用在哪里：

• 带 CUDA 的 llama.cpp，通过它的 llama-server 程序
• pi 和 OpenCode，模型卡为它配置好的两个编程客户端
• Windows、macOS 或 Linux，下载这一步需要 Python

Use case | Who | What they get back
本地模型服务 | 开发者 | 在你机器上提供模型服务的 llama-server
编程智能体后端 | 开发者 | pi 或 OpenCode 与本地模型对话
长提示词 | 研究者 | 以完整的 262,144 个词元上下文运行

如何设置：

• 带 Flint 支持、用 CUDA 构建的较新 llama.cpp 版本，并且 llama-server 在你的 PATH 里
• 显存至少 48 GB 的 NVIDIA GPU，或 Spark 机器上的统一内存
• Hugging Face 命令行工具

1. 按照构建指南安装带 CUDA 的 llama.cpp。
2. 安装 Hugging Face CLI。
3. 下载模型文件和两个客户端配置文件。
4. 用这个模型启动 llama-server。

hf download RecursiveSI/flint-nvfp4-gguf flint-nvfp4.gguf pi-models.json opencode.json \
  --local-dir flint-nvfp4-gguf

llama-server -m flint-nvfp4-gguf/flint-nvfp4.gguf \
  --alias flint -ngl all -c 262144 -np 1 \
  -fa on -ctk f16 -ctv f16 --jinja \
  --temp 1 --top-p 0.95 --top-k 20 --min-p 0 \
  --host 127.0.0.1 --port 8080

如何使用：让 llama-server 保持运行，再在存放已下载模型文件夹的目录里打开第二个终端。然后用下载时附带的配置启动 pi 或 OpenCode。

Tool | What it does
llama-server | 从 GGUF 文件提供模型服务
pi | 编程客户端，用 pi-models.json 配置启动
OpenCode | 编程客户端，用 opencode.json 配置启动

mkdir -p .pi-flint
cp flint-nvfp4-gguf/pi-models.json .pi-flint/models.json
PI_CODING_AGENT_DIR="$PWD/.pi-flint" pi --provider flint-local --model flint

OPENCODE_CONFIG="$PWD/flint-nvfp4-gguf/opencode.json" opencode --standalone

示例：服务运行后，你启动 OpenCode，让它解释你项目里的一个函数。请求会发给本地的 Flint 模型，回答出现在你的终端里。

新手与专家：如果你是新手，这是个很大的下载，还需要大显存 GPU，所以开始前先读模型卡并确认你的显存。先运行服务，再用一个客户端。

如果你懂这个领域，模型卡说这个文件存放的是打包好的 NVFP4 权重和缩放值。运行时带上 jinja 参数，回放对话时保留 reasoning_content。客户端配置设了 262,144 个词元的窗口和 65,536 个词元的生成预算，所以改上下文参数时要同步调整。

下载 GGUF 文件和配置
在 GPU 上启动 llama-server
打开 pi 或 OpenCode
对着本地模型提问

注意事项：

• License: Apache 2.0
• Cost to run: 你自己的 NVIDIA GPU，建议显存至少 48 GB
• Data it reaches: 你下载的文件，以及你发给自己本地服务的提示词
• Tested on: 四种 NVIDIA 配置，其中包括 B300 和 DGX Spark

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 参数量：39.8B
• Weights: about 19.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：132,757
• 点赞：40
• 许可证：apache-2.0
• Fine-tunes: 1
• 标签：gguf, nvfp4, text-generation, conversational

链接

• 模型：https://huggingface.co/RecursiveSI/flint-nvfp4-gguf
• 文件：https://huggingface.co/RecursiveSI/flint-nvfp4-gguf/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download RecursiveSI/flint-nvfp4-gguf

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。