L3-8B-Stheno-v3.3-32K-GGUF

L3-8B-Stheno-v3.3-32K-GGUF

Sao10K 的 Stheno 8B 模型的静态 GGUF 文件，大小从 3.3 GB 到 16.2 GB。适合想在自己电脑上运行 8B 模型的人，许可证为非商业。

由 mradermacher 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 mradermacher 用 Sao10K 的 Stheno 8B 模型制作的 GGUF 文件。每个文件都在大小和质量之间做了取舍，所以你可以选一个适合你内存的。这个模型有 8B 参数，标注了英文。模型卡没有说明基础模型被调整成做什么用。

适合谁：如果你想在自己的电脑上用一个紧凑的文件运行 8B 模型，并且只用于非商业用途，它适合你。

行业 | 谁在用 | 怎么用 | 例子
家庭使用 | 本地 AI 用户 | 在自己的电脑上运行 8B 模型 | 在 GGUF 应用里加载 5.0 GB 的 Q4_K_M 文件
软件 | 开发者 | 在本地硬件上测试量化模型 | 比较 Q4_K_S 和 Q8_0 的速度和质量
研究 | 量化研究人员 | 研究不同大小之间质量怎么变化 | 用同一组提示词跑多种量化类型

如果你需要商业使用或原始的全精度权重，可以跳过它。

用在哪里：你在能读取 GGUF 的程序里打开这些文件，系统可以是 Windows、macOS 或 Linux。模型卡指向 TheBloke 的 README，说明怎么使用 GGUF 文件。

• 能加载 GGUF 文件的本地应用或运行器
• 装有 huggingface_hub 包的 Windows、macOS 或 Linux
• 单独的 i1 仓库，如果你更喜欢加权 imatrix 量化

使用场景 | 谁用 | 得到什么
本地聊天 | 家庭用户 | 一个在自己机器上回答问题的模型
大小测试 | 开发者 | 对自己仍然够用的最小文件
imatrix 量化 | 爱好者 | 模型卡里另一个仓库中的加权版本

如何设置：下载这一步需要 Python，还需要一个能加载 GGUF 文件的程序，以及足够放下你所选文件的磁盘空间。Hugging Face 估算 4-bit 约 4 GB。

• Windows、macOS 或 Linux 上的 Python
• Hugging Face hub 包
• 一个支持 GGUF 的程序，以及为一个量化文件留出 3.3 到 16.2 GB 的可用空间

1. 安装 Hugging Face hub 包。
2. 下载这些文件，或者只下载你想要的那个量化文件。
3. 在你的 GGUF 程序里加载那个文件。

pip install -U huggingface_hub
hf download mradermacher/L3-8B-Stheno-v3.3-32K-GGUF

如何使用：从列表里选一个量化文件，在你的 GGUF 程序里加载并开始聊天。仓库里文件很多，所以全部下载前请先看大小。模型卡说，同样大小下 IQ 类型往往比非 IQ 类型更好。

Tool | What it does
Q2_K, 3.3 GB | 最小的文件
IQ3_S, 3.8 GB | 模型卡说它胜过 Q3_K 系列
Q3_K_M, 4.1 GB | 小文件，模型卡说质量较低
Q4_K_S, 4.8 GB | 模型卡标注它速度快且值得推荐
Q4_K_M, 5.0 GB | 同样速度快且值得推荐
Q6_K, 6.7 GB | 模型卡评价它的质量很高
Q8_0, 8.6 GB | 速度快，是量化文件里质量最好的
f16, 16.2 GB | 完整的 16 位权重，模型卡称之为多余

示例：你选 5.0 GB 的 Q4_K_M 文件，在 GGUF 程序里加载，然后发一条消息。模型会在你自己的机器上用文字回答。

新手与专家：如果你刚接触，GGUF 文件就是被压缩到更小的模型，这样它就能在家里运行。第一件小事是选模型卡推荐的 Q4_K_M 文件。

如果你熟悉这个领域，这些是静态量化，按大小排列，并不严格按质量排列。模型卡说，加权 imatrix 量化放在同一位作者的另一个 i1 仓库里。

Sao10K 的 Stheno 8B 模型
静态 GGUF 量化
多种大小的文件
你挑一个适合内存的
你的 GGUF 程序运行它

注意事项：文件大小从 3.3 GB 到 16.2 GB。模型卡链接了一张图和一篇文章，用来比较低质量的量化类型。

Title: 不同量化类型的文件大小，单位 GB
Q2_K: 3.3 GB
IQ3_S: 3.8 GB
Q3_K_M: 4.1 GB
Q4_K_S: 4.8 GB
Q4_K_M: 5.0 GB
Q5_K_M: 5.8 GB
Q6_K: 6.7 GB
Q8_0: 8.6 GB

• License: cc-by-nc-4.0，只允许非商业使用
• Cost to run: 没有提到任何 API 密钥或付费服务，文件大小从 3.3 GB 到 16.2 GB
• Data it reaches: 下载来自 Hugging Face，模型在你自己的机器上处理你给它的内容
• Not for: 商业用途，因为许可证是非商业的

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：8B
• Weights: about 4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：1,827
• 点赞：5
• 许可证：cc-by-nc-4.0
• 语言：en
• 基于：Sao10K/L3-8B-Stheno-v3.3-32K
• 标签：transformers, gguf, conversational

链接

• 模型：https://huggingface.co/mradermacher/L3-8B-Stheno-v3.3-32K-GGUF
• 文件：https://huggingface.co/mradermacher/L3-8B-Stheno-v3.3-32K-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mradermacher/L3-8B-Stheno-v3.3-32K-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。