SenseNova-6.8-Code2Video GSQ-RCO GGUF

SenseNova-6.8-Code2Video GSQ-RCO GGUF

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

由 OliviaRossi 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这是 sensenova 的 SenseNova-6.8-Code2Video 的 GGUF 量化版，由 OliviaRossi 制作。它不是把所有权重都存成同一种精度，而是给每个张量分配各自的类型，用的是 ISTA-DASLab 的 GSQ 和 RCO 方法，配置名为 GSQ-RCO-IQ3_S。模型有 26.9B 参数。模型卡没有说明基础模型能做什么，但从名称和示例提示词来看，指向的是视频脚本方面的工作。

适合谁：如果你习惯用 GGUF 文件在本地运行模型，又想要一个体积更小的 26.9B 模型，它适合你。开发者和视频写作者是最可能的使用者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用兼容 OpenAI 的接口运行本地模型服务 | llama-server 监听 8080 端口
媒体 | 视频创作者和脚本写作者 | 在自己的机器上起草视频脚本 | 示例提示词 Generate a video script:
研究 | 量化研究人员 | 研究逐张量的混合精度方案 | 注意力层保持比前馈层更高的精度

如果你想要原始的未量化模型，可以跳过它，因为这个文件拿精度换了体积。

用在哪里：

• 终端，通过 llama-cli 程序
• 本地服务，通过 llama-server，它提供兼容 OpenAI 的接口
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Use case | Who | What they get back
在终端里聊天 | 任何有 GGUF 运行环境的人 | 对你输入的提示词的回复
提供本地 API | 开发者 | 一个其他工具能调用的 8080 端口接口
起草视频脚本 | 视频写作者 | 由模型写出的脚本文字

如何设置：

• Python 和 pip，用来下载文件
• llama-cli 和 llama-server 程序，在它们所在的文件夹里运行
• 内存：Hugging Face 估算这个模型的 4-bit 副本大小为 13.4 GB

1. 安装 Hugging Face hub 包。
2. 把模型文件下载到你的电脑。
3. 用下面的命令，让 llama-cli 或 llama-server 指向这个 GGUF 文件。

pip install -U huggingface_hub
hf download OliviaRossi/SenseNova-6.8-Code2Video-GSQ-RCO-GGUF

如何使用：用这个文件启动终端聊天或本地服务。模型卡给出了这两条命令。

# Terminal Chat
./llama-cli -m SenseNova-6.8-Code2Video-GSQ-RCO-IQ3_S.gguf -p "Generate a video script:" -ngl 99

# OpenAI-Compatible Server
./llama-server -m SenseNova-6.8-Code2Video-GSQ-RCO-IQ3_S.gguf --port 8080 -ngl 99 -c 32768

Tool | What it does
./llama-cli | 在终端里和模型聊天
./llama-server | 启动一个兼容 OpenAI 接口的服务
-m | 指向 GGUF 文件
-ngl 99 | 把最多 99 层放到 GPU 上
-c 32768 | 把上下文窗口设为 32768 个 token
--port 8080 | 设置服务使用的端口

示例：按所示运行 llama-cli 命令，提示词是 Generate a video script:，并带上文件名。模型会接着这个提示词，在终端里写出脚本文字。

新手与专家：量化是用更少的位数来存放模型的数字，这样文件更小，也更容易在家里运行。第一次尝试时，先下载文件并运行 llama-cli 命令，然后把提示词换成你自己的主题。

一种叫 RCO 的方案为每个张量挑选类型。注意力投影 attn_qkv 和 attn_gate 用 IQ4_XS、Q5_K 和 Q6_K。前馈层 ffn_down 和 ffn_up 用 IQ2_S 和 IQ2_XXS。SSM 和归一化层保持 BF16 和 F32。张量分配图和重要性矩阵来自一套 Qwen3.8 27B 的配置。

原始的 SenseNova 权重
RCO 为每个张量挑选类型
写出混合精度的 GGUF 文件
llama-cli 或 llama-server 加载文件
你聊天，或调用本地 API

注意事项：模型卡没有给出质量分数，也没有和原始模型的对比，所以请在你自己的任务上测试。

• License: Apache 2.0
• Cost to run: 没有提到，使用你自己的硬件
• Data it reaches: 你电脑上的文件，以及启动 llama-server 后 8080 端口上的服务
• Not for: 根据模型卡来判断质量，因为它没有列出任何基准结果

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：26.9B
• Weights: about 13.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：13,778
• 点赞：9
• 许可证：apache-2.0
• 基于：sensenova/SenseNova-6.8-Code2Video
• 标签：transformers, gguf, llama.cpp, quantized, gsq-rco, iq3_s, non-uniform-quantization, code2video, imatrix

链接

• 模型：https://huggingface.co/OliviaRossi/SenseNova-6.8-Code2Video-GSQ-RCO-GGUF
• 文件：https://huggingface.co/OliviaRossi/SenseNova-6.8-Code2Video-GSQ-RCO-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download OliviaRossi/SenseNova-6.8-Code2Video-GSQ-RCO-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。