POCKET-35B-GGUF

POCKET-35B-GGUF

用 llama.cpp 从 GGUF 文件在你自己的电脑上运行针对韩语调优的 35B 模型，有纯 CPU 路径，不需要 GPU。适合想在本地使用语言模型的人。

由 FINAL-Bench 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：POCKET-35B-GGUF 收录了一个针对韩语调优的语言模型的 GGUF 版本，设计用来通过 llama.cpp 在普通电脑上运行。这个模型是稀疏的混合专家模型，参数量 34.66B，每个词元大约激活其中 3B。有纯 CPU 路径，所以 GPU 是可选的。

适合谁：它适合想在自己电脑上运行能处理韩语的语言模型的人。模型卡自己的起点是 Darwin-36B-Opus 检查点。

Title: 谁在用
Industry | Who uses it | How they use it | Example
软件 | 开发者 | 不用 GPU 运行本地的、能处理韩语的模型 | 桌面工具里的聊天助手
教育 | 韩语老师和学习者 | 用一个只留在本机的模型练习 | 在笔记本上用韩语提问
IT | 把文本留在内部的团队 | 在自己的电脑上托管模型 | 帮员工起草文稿的本地助手

如果你想要手机上的模型，可以跳过它。模型卡把手机用户指向约 5 GB 的另外几个仓库。

用在哪里：

• llama.cpp，需要支持 qwen35moe 架构，运行在 Windows、macOS 或 Linux 上
• 内存足够放下你所选版本的电脑
• 只有 CPU 的机器，因为模型卡列出了纯 CPU 的执行路径

Title: 它能做的事
Use case | Who | What they get back
用韩语本地聊天 | 个人 | 在你自己的电脑上生成的回复
文本工作留在一台机器上 | 小团队 | 不涉及云端模型的草稿和回答

如何设置：

• Python，用于下载工具
• 支持 qwen35moe 的较新 llama.cpp 版本，所以要检查你安装的版本
• 你所选版本需要的内存，推荐的首选版本 Q2_K 约 13 GB

1. 安装 Hugging Face Hub 工具。
2. 下载仓库文件。
3. 用 llama.cpp 运行你选的版本。

pip install -U huggingface_hub
hf download FINAL-Bench/POCKET-35B-GGUF

如何使用：
选一个版本，先从推荐的 Q2_K 开始，在 llama.cpp 里加载它的文件。模型卡列出了几个文件大小和内存需求不同的完整模型版本，按你的内存大小来选。

hf download FINAL-Bench/POCKET-35B-GGUF

示例：
你在电脑上用 llama.cpp 加载 Q2_K 文件，用韩语提一个问题。模型在你自己的机器上用韩语回答。模型卡没有给出示例输出，所以质量需要你自己判断。

新手与专家：
如果你是新手，GGUF 是 llama.cpp 能读取的文件格式，版本越小占内存越少，但质量会有所损失。第一件小事是试试推荐的 Q2_K 版本，约 13 GB。

如果你懂这个领域，这个模型是稀疏混合专家模型，每个词元约激活 3B 参数，由 Darwin-36B-Opus 检查点构建。代价在证据上：模型卡把结果标为发布者在特定设备条件下的测量。

下载一个 GGUF 版本
检查 llama.cpp 是否支持 qwen35moe
在 CPU 或 GPU 上加载文件
用韩语提问

注意事项：

• 版本：这个仓库是完整模型的电脑版本，不是手机版本。
• 大小：推荐的 Q2_K 版本约 13 GB。
• 运行环境：llama.cpp 需要支持 qwen35moe，所以请检查你的版本。
• 证据：结果是发布者自己的测量。
• License：Apache-2.0。
• Cost to run：没有提到 API 密钥、账号或付费服务。
• Data it reaches：你从 Hugging Face 下载文件，模型卡没有提到别的访问。
• Not for：手机，手机有各自独立的仓库。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：llama.cpp
• 参数量：34.7B
• Weights: about 17.3 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：452,730
• 点赞：91
• 许可证：apache-2.0
• 基于：FINAL-Bench/Darwin-36B-Opus
• 标签：llama.cpp, gguf, conversational, on-device, mobile, iphone, android, local-llm, edge, mixture-of-experts, quantized, pocket

链接

• 模型：https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF
• 文件：https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download FINAL-Bench/POCKET-35B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。