Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

通过 vLLM 和 DFlash2 推测解码来运行 122B 的 Ornith 1.5 模型，输出头保持未量化。适合有 128 GB 内存的 RTX Spark 笔记本。

由 Sherlock-Comms 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 Ornith-1.5-122B-NVFP4 检查点，只改了一处：它的 lm_head 用 BF16 存放，而不是 NVFP4。只有当这个输出头未量化时，vLLM 才会接受 DFlash2 草稿模型，而官方检查点把它量化了。作者在一台 128 GB 的 RTX Spark N1X 笔记本上测试了它，并报告说运行 vLLM 的其他 GPU 也可以。

适合谁：它适合在自己的硬件上运行超大模型、并希望用草稿模型加快解码速度的人。作者说它与 Ornith AI 没有关系，与 Inco AI 也没有关系。

Industry | Who uses it | How they use it | Example
本地 AI | 拥有 128 GB 内存的 RTX Spark N1X 笔记本的人 | 用 vLLM 和推测解码运行 122B 模型 | 在笔记本上进行长时间的智能体对话
软件开发 | 智能体开发者 | 通过本地服务器使用工具调用和长上下文 | 在多个回合里保持一段 61K token 的对话
推理工程 | 使用其他 GPU 的 vLLM 用户 | 用输出头未量化的目标模型试用 DFlash2 草稿 | 检查草稿模型是否被接受

如果你无法给 GPU 提供约 96 GB 内存（模型卡报告用到了这么多），或者你想要有厂商支持的模型，可以跳过它。

用在哪里：

• vLLM 0.32.0，也就是模型卡测试用的版本
• 在 Windows 11 on Arm 的 WSL 2 下使用 Docker，和模型卡的测试环境一致
• 运行 vLLM 的其他 GPU，模型卡说它们也可以

Use case | Who | What they get back
长上下文对话 | 本地 AI 用户 | 一个能接受最长 262,144 token 请求的服务器
带工具的智能体工作 | 智能体开发者 | 用 qwen3_coder 解析器解析的工具调用
图像问答 | 开发者 | 针对每条提示最多 4 张图片的回答，不含视频

如何设置：

• Python，用来运行 Hugging Face 下载工具
• huggingface_hub 包
• vLLM 0.32.0，如果照搬测试环境，还需要 WSL 2 下的 Docker
• 可用内存约 96 GB 的 GPU，就像那台 128 GB 的测试笔记本
• 为约 78.7 GB 的模型文件留出空间

1. 安装 Hugging Face 的 hub 包。
2. 把仓库文件下载到你的电脑。
3. 用模型卡里的参数启动 vLLM，把占位符换成这个仓库的名字。

pip install -U huggingface_hub
hf download Sherlock-Comms/Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

vllm serve <this-repo> --served-model-name ornith-1.5-122b \
  --max-model-len 262144 --max-num-seqs 1 --max-num-batched-tokens 8192 \
  --kv-cache-dtype fp8 --kv-cache-memory-bytes 12884901888 \
  --enable-prefix-caching --prefix-cache-retention-interval 17344 \
  --speculative-config '{"method":"dflash","model":"incoai/Ornith-1.5-122B-DFlash2","num_speculative_tokens":7}' \
  --moe-backend marlin --no-async-scheduling \
  --mm-encoder-attn-backend TORCH_SDPA --limit-mm-per-prompt '{"image":4,"video":0}' \
  --mm-processor-cache-gb 1 --skip-mm-profiling \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
  --trust-remote-code

如何使用：服务器启动后，你用服务名 ornith-1.5-122b 来和模型对话。这些参数对这个模型很重要，模型卡解释了其中几个。

Tool | What it does
--prefix-cache-retention-interval | 前缀缓存要有命中就得设置它。17344 适合 7 个草稿 token，8640 适合 6 个，17472 适合 8 个
--no-async-scheduling | 必须使用，因为异步调度不能和 DFlash 一起工作
--moe-backend marlin | 让 vLLM 避开一个在这块芯片上让 GPU 卡死的内核
--skip-mm-profiling | 启动时节省约 13 s，视觉功能仍然可用
TORCH_SDPA | 视觉编码器的后端，因为 flash-attn 没有 sm_121 版本
--kv-cache-memory-bytes | 设置约 12 GiB 的 FP8 缓存，足够一个完整的 262,144 token 请求

示例：你让一段智能体对话持续下去，提示开头保持不变。第一回合之后，服务器会复用缓存的前缀。在模型卡的 61K token 测试里，回答在约 9 s 后开始，而不是 38 到 41 s。

新手与专家：这个页面针对的是一个很窄的场景：在内存很大的笔记本上运行超大模型。上手时，先运行那两条下载命令，启动服务器之前再读一读模型卡里的参数列表。

如果你熟悉这个领域：BF16 的输出头是从官方 NVFP4 输出头反量化得到的，所以输出与官方模型一致。抽样的行与原始 BF16 输出头的余弦相似度是 0.995。专家层保留 W4A16 NVFP4 权重，所以 vLLM 会走它的 Marlin 内核。

官方 NVFP4 输出头被反量化为 BF16
vLLM 现在接受 DFlash2 草稿
草稿每一步提出 7 个 token
122B 模型检查它们，约 3 个被保留

注意事项：

Title: 解码速度，单位 token 每秒
本检查点加 DFlash2: 50 tok/s
Q4_K_M GGUF 加 MTP: 36.6 tok/s

• 内存：测试笔记本的 GPU 内存设为 96 GB，约用了 94 GB，启动时峰值接近 97 GB
• 工具调用：作者的测试中 54 次里有 53 次通过，没有无效调用
• 大小：约 78.7 GB，官方检查点是 77.6 GB
• 结果来自一台笔记本，华硕 ProArt P16
• License: mit
• Cost to run: 没有提到费用，但这个配置需要约 96 GB 内存的 GPU
• Data it reaches: 你发送的提示词和图片、命令里指定的草稿模型，以及你从 Hugging Face 下载的文件
• Not for: 官方支持，因为作者说它与 Ornith AI 和 Inco AI 没有关联

Hugging Face 上的数据（2026年11月13日）

• 任务：image text to text
• 框架：vllm
• 参数量：64B
• Weights: about 64 GB in U8
• Formats: Safetensors
• 最近 30 天下载：342
• 点赞：2
• 许可证：mit
• 基于：ornith-ai/Ornith-1.5-122B-NVFP4
• 标签：vllm, safetensors, qwen3_5_moe, nvfp4, modelopt, dflash, dflash2, speculative-decoding, rtx-spark, n1x, image-text-to-text, conversational

链接

• 模型：https://huggingface.co/Sherlock-Comms/Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark
• 文件：https://huggingface.co/Sherlock-Comms/Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Sherlock-Comms/Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。