Strata-Sage-A1.5-GGUF

Strata-Sage-A1.5-GGUF

为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF，能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。

由 ykarout 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放着 Sage-A1.5，它是 Qwen3.6-35B-A3B 的微调版本，以 4-bit 的 Q4_K_M GGUF 形式提供，专为 Strata 推理引擎准备。这个模型有 256 个专家，每个词元选 8 个，所以任一时刻约有 3B 参数在工作。它还带有一个多词元预测层。模型卡说，整个模型和完整的 262K 上下文能放进 16 GB 显卡加 64 GB 内存里。

适合谁：它适合在自己电脑上运行大型混合专家模型、想在一块消费级显卡上做长上下文以及编程或智能体会话的人。

行业 | 谁在用 | 怎么用 | 例子
软件开发 | 开发者 | 在本地用长上下文运行 35B 的编程模型 | 在一次会话里处理一个大型代码库
智能体 | 智能体构建者 | 保持长对话，而不必每轮都重新读一遍 | 一个从缓存状态继续的智能体
研究 | 推理工程师 | 在消费级 GPU 上研究专家缓存和推测解码 | 在自己的显卡上对比模型卡里的各个参数
业余计算 | 本地模型爱好者 | 用 16 GB 显存运行大模型 | 在家和一个 35B 模型聊天

如果你想要下载后直接运行的普通文件，可以跳过它，因为最佳路径需要 Strata 引擎和构建步骤。

用在哪里：

• Strata 引擎的 q36-r2 分支，模型卡说这是它的主要目标
• llama.cpp，因为模型卡说它也能作为普通的 qwen35moe GGUF 运行
• Linux，或者在 Windows 上通过项目的启动批处理文件
• 装有 16 GB 显卡和 64 GB 内存的电脑，用于完整上下文

用途 | 适合谁 | 得到什么
长编程会话 | 开发者 | 最长 262K 词元的上下文窗口
智能体循环 | 智能体构建者 | 从缓存状态继续的下一轮
更快的生成 | 进阶用户 | 来自内置预测层的草稿词元

如何设置：

• 按模型卡所说，一块 16 GB 显卡和 64 GB 内存
• 磁盘空间，模型文件约 21.7 GB
• Strata 项目，用它的 setup 脚本从 q36-r2 分支构建
• Python，用于分词器工具和下载

1. 用 pip 安装 Hugging Face hub 软件包。
2. 取得 Strata 项目的 q36-r2 分支并构建引擎，Linux 上用 setup.sh，Windows 上用 START-HERE.bat。
3. 把模型下载到 models 文件夹。
4. 用下载好的模型文件构建分词器。
5. 手写引擎的配置，因为导入器只接受另一种文件类型。

pip install -U huggingface_hub
hf download ykarout/Strata-Sage-A1.5-GGUF

hf download ykarout/Strata-Sage-A1.5-GGUF --local-dir models/sage
python tools/strata_tokenizer.py --gguf models/sage/Sage-A1.5-Q4_K_M-ssmbf16.gguf --out models/sage/tokenizer

如何使用：你用一份手写的配置启动 Strata 引擎，配置里指向模型文件，并设置上下文大小和缓存类型等选项。模型卡列出的主要选项如下。

工具 | 作用
--kv int8 | 用 8-bit 形式存放缓存，使完整的 262K 上下文能放下
--gqa-attn | 解码时每个键值头只读一次缓存行
--expert-profile | 开始时就把配置文件选定的专家放进显存
--mtp | 让模型提前起草词元，采样请求也适用
--snapshots | 让智能体的下一轮从缓存状态继续

示例：开发者构建好 Strata，下载模型，并用配置启动。他们开启一次长编程会话，占用了 262K 窗口的大部分。模型卡说，在后续的轮次里，引擎会从缓存状态继续，而不是重新读整段对话。

新手与专家：如果你是新手，把它当作给有经验的本地模型用户的项目，因为它需要构建和手写配置。模型卡还说这个文件能在 llama.cpp 里运行，那可能是更容易的第一次尝试。

如果你熟悉这个领域：这个文件为 60 个小的 DeltaNet 门张量保留了原始的 BF16 权重，其余部分与官方的 Q4_K_M 字节一致。一个 84 KB 的专家配置文件是从模型自己的智能体编程会话里学来的，它告诉引擎该把哪些专家留在显存里。第二轮引擎改进默认开启，加入了张量核心注意力和专家缓存。

构建 Strata 引擎
下载 GGUF 和专家配置文件
构建分词器
编写引擎配置
开始一次长会话

注意事项：

• Limits: 第二轮的部分提速需要计算能力 8.0 或更高的 GPU，以及 8-bit 缓存。
• Size: 模型文件是 21.7 GB，比页面上 4-bit 的估算值要大。
• Files: 仓库里还有一个给引擎用的小型专家配置文件。
• License: Apache 2.0。
• Cost to run: 未提及。
• Data it reaches: 它把大型模型文件复制到你的电脑，只处理你给它的提示词。

Hugging Face 上的数据（2026年11月13日）

• 参数量：35.5B
• Weights: about 17.8 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：5,466
• 点赞：14
• 许可证：apache-2.0
• 基于：InternScience/Sage-A1.5
• 标签：gguf, strata, qwen35moe, agentic, conversational

链接

• 模型：https://huggingface.co/ykarout/Strata-Sage-A1.5-GGUF
• 文件：https://huggingface.co/ykarout/Strata-Sage-A1.5-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ykarout/Strata-Sage-A1.5-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。