OneJev1.6-4B-GGUF

OneJev1.6-4B-GGUF

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。

由 mradermacher 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库收录了 OneJev1.6-4B 的 GGUF 量化副本，由 mradermacher 制作。基础模型是 OmniJev/OneJev1.6-4B，约有 4.2B 参数。文件大小从约 2.0 GB 到 8.5 GB。模型卡没有说明基础模型的训练用途，所以请先查看它的页面。

适合谁：它适合在自己硬件上运行小型语言模型、并想选一个适合自己内存的文件大小的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 用中等大小的量化文件在本地试用模型 | 加载 Q4_K_M 并测试几条提示词
研究 | 机器学习爱好者 | 比较各量化级别的大小和回答质量 | 对同一个问题分别运行 Q2_K 和 Q8_0
边缘与离线工作 | 内存有限的团队 | 完整文件太大时选更小的文件 | 8.5 GB 的 f16 文件放不下时，用 2.7 GB 的 Q4_K_S

如果你需要一个有明确用途的模型，或者一个托管服务，可以跳过它。

用在哪里：你先下载文件，再用任何能读取 GGUF 的本地应用运行其中一个。

• Windows、macOS 或 Linux，配合 Python，用来获取文件
• 一个能打开 GGUF 文件的本地应用，模型卡没有指名
• Hugging Face，文件托管在这里

Use case | Who | What they get back
离线运行小模型 | 开发者 | 一个在自己机器上作答的聊天模型
比较量化大小 | 机器学习爱好者 | 对文件大小与回答质量如何取舍的直观感受
把模型装进有限内存 | 边缘团队 | 一个小到能放进现有内存的文件

如何设置：你需要一种获取文件的方式，以及一个能打开文件的应用。

• Python，用于 Hugging Face hub 工具
• 足够存放所选量化文件的磁盘空间，大小见 How to use it 下面的列表
• 一个能读取 GGUF 文件的本地应用

1. 安装 Hugging Face hub 工具。
2. 下载仓库文件。
3. 按大小和质量挑一个量化文件。
4. 在你的 GGUF 应用里打开它。模型卡指向 TheBloke 的 README，了解 GGUF 基础和多段文件的合并方法。

pip install -U huggingface_hub
hf download mradermacher/OneJev1.6-4B-GGUF

如何使用：模型卡没有给出运行命令。你在 GGUF 应用里打开所选的量化文件，然后和它聊天。量化级别越低文件越小，下表是模型卡对每个文件的说明。

量化类型 | 大小（GB） | 说明
mmproj-Q8_0 | 0.5 | 多模态补充文件
mmproj-f16 | 0.8 | 多模态补充文件
Q2_K | 2.0 | 主要文件中最小的
Q3_K_M | 2.4 | 标注为质量较低
Q4_K_S | 2.7 | 速度快，模型卡推荐之一
Q4_K_M | 2.8 | 速度快，模型卡推荐之一
Q6_K | 3.6 | 标注为质量良好
Q8_0 | 4.6 | 速度快，标注为质量最佳
f16 | 8.5 | 完整的每权重 16 位，被称为大材小用

示例：你的笔记本内存有限，所以选了 2.8 GB 的 Q4_K_M，这是模型卡称为快速且推荐的两个文件之一。你在 GGUF 应用里打开它并提问，回答在你自己的机器上生成。

新手与专家：GGUF 是一种文件格式，用来在你自己的电脑上运行模型。量化会缩小模型，所以数字越低占用空间越少，质量会有一些损失。第一次可以试 Q4_K_S 或 Q4_K_M，这是模型卡推荐的两个。

这里只有静态量化。作者说带权重或 imatrix 的版本可能不会出现，并欢迎大家提出请求。模型卡还提到，IQ 类型往往比大小相近的非 IQ 类型更值得选，并且列表按大小排序，而不是按质量。

基础模型 OneJev1.6-4B
量化成 GGUF 文件
你下载其中一个文件
GGUF 应用加载它
你在自己的机器上聊天

注意事项：记录里列出的权重在 4-bit 下约 2.1 GB，这是估算值，语言为英文。

• License: Apache-2.0
• Cost to run: 没有提到
• Data it reaches: 它从 Hugging Face 下载文件。模型卡没有提到账号、网络或剪贴板访问。

Hugging Face 上的数据（2026年11月13日）

• 框架：transformers
• 参数量：4.2B
• Weights: about 2.1 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：4,292
• 点赞：2
• 许可证：apache-2.0
• 语言：en
• 基于：OmniJev/OneJev1.6-4B
• 标签：transformers, gguf, onejev, system-one, decision-model, calibration, multimodal, gui-agent, video, conversational

链接

• 模型：https://huggingface.co/mradermacher/OneJev1.6-4B-GGUF
• 文件：https://huggingface.co/mradermacher/OneJev1.6-4B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download mradermacher/OneJev1.6-4B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。