来自 Hugging Face 的 AI 项目

Chroma Context-1

chromadb · 工具包

一个 200 亿参数的搜索模型，为复杂的多步问题找出支撑文档，并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。

Cola DLM

ByteDance-Seed · 工具包

一个研究用的文本生成模型，在连续潜空间中写作，把文本自编码器和扩散 Transformer 配在一起。适合想运行并测试已发布检查点的研究人员和开发者。

SalamandraTA-7b-instruct

BSC-LT · 工具包

一个 7.8B 的翻译模型，支持 40 种语言和 3 种变体，可做句子、段落和文档翻译，也能处理 HTML 或 XML 文本。适合想要本地翻译器的开发者和研究人员。

MiniCPM5-2B-GGUF

bartowski · 工具包

MiniCPM5-2B 文本模型的多种大小的量化 GGUF 副本，用 llama.cpp 和重要性矩阵制作。适合在自己电脑上运行小型中英文模型的人。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

gugujiji_novel-humanize-4b-GGUF

bartowski · 工具包

novel-humanize-4b 中文文本模型的量化 GGUF 副本，从完整精度到小体积文件都有。适合想在自己电脑上运行 40 亿参数写作模型的人。

granite-4.2-3b-GGUF

bartowski · 工具包

IBM 的 granite-4.2-3b 文本模型的量化 GGUF 副本，从完整精度到较小的 3 位文件，尺寸齐全。适合想在自己电脑上运行小型聊天模型的人。

Qwen3.8-Whittle-MoE-27B-MLX-4bit

barozp · 工具包

面向 Apple Silicon 的 4 位 MLX 版本，来自从稠密的 Qwen3.8-27B 切出来的混合专家模型，总参数 27B，激活 17.8B。适合用 mlx-lm 运行本地模型的人。

ERNIE-4.5-21B-A3B-Thinking

baidu · 工具包

以推理见长的 ERNIE 4.5 混合专家文本模型，总参数 21B、激活参数 3B，上下文 128K，支持工具调用，支持英文和中文。适合需要用较小激活规模做深度推理的开发者。

GPT-X3-150M

AxiomicLabs · 工具包

Axiomic Labs 的 149M 参数基础文本模型，会接着你给的文本往下写。模型卡报告它的 Intelligence Index 为 33.05，高于 SmolLM2-135M 的 27.13。F32 下约 598 MB。

Apodex-1.1-mini-GGUF

apodex · 工具包

面向长篇研究任务的推理模型，能处理文件、数据、代码和工具，以 GGUF 文件提供，可以自己托管。适合自己运行模型的研究者和开发者。

AMALIA-9B-0626-DPO

amalia-llm · 工具包

用欧洲葡萄牙语写作和回答，是葡萄牙高校推出的开源 9B 聊天模型，经监督微调和 DPO 调优。适合需要欧洲葡萄牙语语言模型的开发者和研究者。

OLMoE-1B-7B-0924

allenai · 工具包

用运行成本较小的混合专家模型续写英文文本，激活参数 1B，总参数 7B。代码、数据和检查点全部开放，适合使用 transformers 的研究人员和开发者。

Olmo-3.1-32B-Think

allenai · 工具包

回答前先用英语一步步推理，对数学和代码问题有帮助。这是 allenai 的 32B 开放模型，公开了代码、检查点和训练细节，通过 transformers 运行。

Qwen2.5-0.5B-Instruct

Qwen · 工具包

作为最小的指令微调 Qwen2.5 模型回答对话提示，约 0.5B 参数。适合想要轻量本地模型来做对话、结构化输出和测试的开发者。

MiMo-V2.6-Flash-RL-NVFP4

primitive-ai · 工具包

为 Blackwell GPU 提供小米 MiMo-V2.6-Flash-RL 的 NVFP4 版本，专家权重值与官方发布完全一致，在两块 96 GB 显卡上吞吐更高。适合自托管大模型的人。

K2-Horizon-3.7B

IFM · 工具包

作为一个上下文窗口达 512K token 的小型开源模型，处理编程、推理和智能体类任务。由 IFM 制作，适合想要公开的训练数据、代码和训练中途检查点的人。

SmolLM2-360M

HuggingFaceTB · 工具包

用一个 3.62 亿参数、训练了 4 万亿词元、轻到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用小型基础模型做测试或微调的开发者。

BaronLLM Offensive Security LLM Q6_K GGUF

AlicanKiraz0 · 工具包

回答安全问题，帮助规划经授权的红队演练，是 Llama 3.1 8B 的 Q6_K GGUF 微调版本。适合在有权测试的系统上工作的安全研究人员。

GigaChat3.5-432B-A28B

ai-sage · 工具包

用于俄语和英语的对话、代码、推理和工具调用文本生成。这是一个 432B 的混合专家模型，激活参数 28B，适合能自行部署大模型的团队。

GigaChat3.1-10B-A1.8B-GGUF

ai-sage · 工具包

用俄语和英语聊天、写代码、调用函数，是 GGUF 文件形式的紧凑混合专家模型。适合在自己硬件上运行助手的人。

Ara-JEV

AhmedReda25300 · 工具包

根据一段简短的阿拉伯语情境、一个问题和可选选项，挑出最合适的答案标签。适合用 0.8B 级小模型处理阿拉伯语路由或判断任务的开发者。

GLM-5.3-Flash EXL3 Spark

0xSero · 工具包

在一台 DGX Spark 上以 256k 词元的上下文和图像输入运行 GLM-5.3-Flash，使用每权重约 2.31 位的混合 EXL3 版本。适合在单台小型机器上托管大模型、看重质量而不是速度的人。

Qwen3.8-Flash-Next-125B-UltraLite-37GiB-GGUF

0xKitkat · 工具包

把 Qwen3.8-Flash-Next 混合专家模型压缩成约 37 GiB 的纯文本 GGUF 文件，供实验使用。它需要发布包里附带的补丁版 llama.cpp 才能运行。

Laplace-1-Atlas

JuneoAI · 工具包

通过一次推理给候选选项打分，帮助组织决定谁来做任务、谁能看到信息、运行什么以及接受什么。这是基于 Qwen3.8-27B 的 27.4B 模型，权重以 Apache-2.0 开放。

AgentForesight-7B

ZBox008003 · 工具包

在多智能体运行展开时进行审计，标出最早的决定性错误，并指出出错的步骤、智能体和简短原因。适合构建和调试智能体团队的开发者。

Zabibu Fikra Model 2 (4B)

zabibutechnika · 工具包

用一个 4B 模型以斯瓦希里语和英语作答，设计为在你自己的设备上离线私密运行。适合需要非洲语境（如肯尼亚数据）的本地助手。

MiMo-V2.5-ASR

XiaomiMiMo · 工具包

转写普通话、英语和粤语的语音，包括中文方言、中英夹杂、歌词、嘈杂音频和多人会议，并自动加标点。适合需要语音转文字的团队。

NeoHorse-1-9B

TokenRhythm · 工具包

从 Qwen3.5-9B 后训练而来的 9B 文本模型，面向智能体框架、工具调用、编程和指令遵循，只发布文本权重。适合在自己硬件上运行智能体的开发者。

Falcon OCR

tiiuae · 工具包

用一个小型 270M 参数模型读取文档图片，返回文字、LaTeX 公式或 HTML 表格，支持扫描件、收据和手写内容。

Indic Multilingual Turn Detector

tarun7r · 工具包

读取语音转文字的转写文本，判断说话人是否已说完这一轮，支持英语、Hinglish 和七种印度语言。面向语音智能体和呼叫中心开发者。

MNN-Pocket-0.3B-Base

taobao-mnn · 工具包

约 300M 参数的预训练基础语言模型，支持中文和英文，与 MNN 推理引擎一起设计，面向设备端使用，可作为继续训练或微调的起点。

qwen-2.5-0.5b-block-transformer-hiba-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成分层块注意力算子，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

qwen-2.5-0.5b-bam-umoe-wikitext2

tahamajs · 工具包

把 Qwen2.5-0.5B 的 24 层注意力中的 18 层换成混合专家注意力块，再在 WikiText-2 上蒸馏。这是用于研究注意力改造的研究检查点，不是成品聊天模型。

Bielik-11B-v3.1-DFlash2

speakleash · 工具包

作为草稿模型与 Bielik-11B-v3.1-Instruct 配对，在 SGLang 或 vLLM 中做推测解码。它不是独立的语言模型。

Bielik-11B-v3.1-DFlash

speakleash · 工具包

作为 DFlash 草稿模型，与 Bielik-11B-v3.1-Instruct 配对，在 SGLang 或 vLLM 里做推测解码。它不是独立的语言模型。适合自己部署 Bielik 的人。

Beam-1.0-501B-A23B-NVFP4

reflection · 工具包

这个模型读写文本，上下文 1M 个 token，主打编程、智能体调用工具和数学推理，是 NVFP4 形式的 501B 参数混合专家模型。适合有多 GPU 服务器、想用开源模型的团队。

Flint NVFP4 GGUF

RecursiveSI · 工具包

Recursive Flint 文本模型的 4-bit NVFP4 单文件 GGUF 版本，通过 llama.cpp 在 NVIDIA GPU 上运行。适合用 pi 或 OpenCode 在本地跑大模型的开发者。

Kimi-K3.1-Dflash2-Preview

RadixArk · 工具包

通过起草一块 token 让主模型一次验证，来加快 Kimi-K3.1-Pro 的推理服务。这是给 SGLang 用户的草稿模型，与目标模型配合使用，不是独立的语言模型。

Qwen3Guard-Gen-0.6B

Qwen · 工具包

一个小型安全审核模型，把提示或模型回复标为安全、有争议或不安全，并指出风险类别，支持 119 种语言。适合筛查聊天输入和输出的开发者。

Qwen3-1.7B-GGUF

Qwen · 工具包

提供 Qwen3 1.7B 小型对话模型的 q8_0 GGUF 文件，供 llama.cpp 使用，可在思考与非思考回复之间切换。适合想要轻量本地助手的人。

Qwen3-1.7B-Base

Qwen · 工具包

作为 1.7B 的基础语言模型来续写文本和代码，预训练覆盖 119 种语言。适合想用小模型做微调或测试的开发者。

Qwen3-1.7B

Qwen · 工具包

一个紧凑的 1.7B 聊天模型，可在用于推理的思考模式和用于对话的快速模式之间切换。适合想用小型开放模型做聊天、翻译和智能体功能的开发者。

Qwen2.5-Coder-14B-Instruct

Qwen · 工具包

一个 14.8B 参数、按指令调优的代码模型，能根据简单请求编写、解释和修复代码，通过 transformers 库运行。适合想自己托管模型的开发者。

Qwen2.5-7B-Instruct

Qwen · 工具包

这是一个 7.6B 参数的指令微调模型，能聊天、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合需要在单台电脑上运行小型开源模型的开发者。

Qwen2 0.5B Instruct

Qwen · 工具包

Qwen 出品的小型 494M 参数聊天模型，能遵循指令，BF16 权重约 988 MB，通过 Transformers 运行。适合需要轻量模型做测试或简单任务的开发者。

1-bit Bonsai 27B (MLX)

prism-ml · 工具包

在 Apple MLX 上运行一个每个权重压成 1 比特、约 3.9 GB 的 27B 级推理模型，上下文 262K 词元。适合想在手机或笔记本上用大模型的开发者。

Bonsai-1.7B-GGUF

prism-ml · 工具包

用一个每个权重只占 1 比特、约 0.24 GB 的 1.7B 语言模型生成文本，适用于 CUDA、Metal 和 CPU 上的 llama.cpp。适合需要微型本地模型的开发者。

Laguna XS 2.1

poolside · 工具包

用一个 33B 的混合专家模型写代码、完成需要调用工具的长编程任务，每个词元只激活 3B 参数。适合在本地运行编程智能体的开发者。

Ornith-1.0-9B-GGUF

ornith-ai · 工具包

一个 9B 开源编码智能体模型的 GGUF 副本，用强化学习训练它写出解决方案和围绕方案的脚手架。适合在本地运行智能体、使用单块 GPU 的开发者。

gpt-oss-safeguard-20b

openai · 工具包

按你写的安全策略对文本分类，并展示推理过程。适合信任与安全团队过滤模型输入输出，以及在线或离线给内容打标签。

gpt-oss-safeguard-120b

openai · 工具包

根据你写的安全政策给文本分类，并展示每个决定背后的推理。适合过滤或标注内容的信任与安全团队。

OpenAI GPT 1

openai-community · 工具包

用 OpenAI 发布的第一个 transformer 语言模型续写你开头的英文文本，参数量 120M。适合研究早期语言模型或学习 transformers 库的人。

VLX-Seek-1.5-10B

omlab · 工具包

通过在候选区域中选择来找到并指出图像中的物体，目标不存在时回答 None。适合无人机、机器人和监控摄像头的视觉工作。

Rostam-S1-4B

officialmobai · 工具包

一步一步推理数学、物理、科学编程以及波斯语或英语问题，并支持工具调用。基于 Spark-X2.6-4B 的 4.1B 模型，适合想要小型双语推理模型的人。

NousCoder-14B

NousResearch · 工具包

为竞赛编程题写代码的模型，在 Qwen3-14B 基础上用强化学习继续训练，训练题共 24k 道，答案都可以检验。适合想在自己电脑上运行代码模型的开发者。

Hermes-3-Llama-3.2-3B

NousResearch · 工具包

一个 3.2B 的聊天助手模型，能遵循指令、调用函数、输出结构化内容并写代码。适合在自己电脑上运行模型的开发者和爱好者。

Qwen3.5-9B-OptiQ-4bit

mlx-community · 工具包

Qwen3.5-9B 的 4-bit 混合精度 MLX 版本，用于在 Apple Silicon 上本地生成文本，自带多词元预测头。适合在 Mac 上本地运行模型的人。

phi-2

microsoft · 工具包

一个小型文本生成模型，能回答问题、续写对话并补全代码。适合想用紧凑开放模型做安全研究和实验的研究人员与开发者。

LongCat-Flash-Lite-Sparse

meituan-longcat · 工具包

总参数 69B、每个 token 约激活 3B 的混合专家文本模型，采用稀疏注意力，支持 100 万 token 上下文。适合为编程和工具使用智能体托管长上下文模型的团队。

LongCat-2.5-W4A4

meituan-longcat · 工具包

面向长链条智能体任务的多模态混合专家模型，用于代码库开发、完整项目构建和创意设计，此为压缩的 W4A4 版本。适合拥有大型 GPU 算力的团队。

Temper-2-Nodel

maylore-ai · 工具包

42 亿参数的 Rust 编程模型，基于 Qwen3.5-4B，能回答俄语和英语请求。适合想用小型模型处理函数、trait、泛型和线程的 Rust 开发者。

SpatialLM1.1-Qwen-0.5B

manycore-research · 工具包

读取 3D 点云并写出结构化的场景布局，包含墙、门、窗和带标签的物体框。适合从事机器人、导航和 3D 场景理解的研究人员和开发者。

llm-jp-4.1-33b-thinking

llm-jp · 工具包

LLM-jp 项目推出的 33.2B 参数英日双语文本生成模型。经过 SFT 和 DPO 后训练，上下文 65,536 词元，权重采用 Apache 2.0，可通过 transformers 加载。

KAT-Coder-V2.5-Dev

Kwaipilot · 工具包

Kwaipilot 的开放权重编程模型，混合专家结构，总参数 35B，激活 3B，针对智能体编程做了调优，工具调用出错更少。可用于 transformers、vLLM 和 SGLang。

Slonik-27B-oQ8-mtp

kakoka · 工具包

用一个 27B 编码模型帮你编写和修改 PostgreSQL 源代码，8 位量化，可通过 oMLX 在 Apple Silicon Mac 上本地运行。适合想要本地助手的 PostgreSQL 开发者。

Qwen3.8-27B-SLQ-GGUF

kaitchup · 工具包

用自定义的统计无损量化，把 Qwen3.8-27B 压成三个体积和保真度各不相同的 GGUF 文件。适合在 llama.cpp 里本地运行这个模型的人。

Spark-X2.6-4B-AgentFast

JamieBradfield · 工具包

几乎没有思考延迟地调用工具并遵循指令，是 Spark-X2.6-4B 的 4.1B 微调模型。适合构建需要快速、直接调用工具的本地智能体的人。

Qwopus3.8-27B-Flash-V2-GGUF

Jackrong · 工具包

减少长时间智能体任务里被浪费的推理，是 Qwen3.8-27B 第二版 Flash 微调模型的 GGUF 版本，Python 格式更好。适合在本地跑智能体循环的人。

Qwen3.8-27B-DFlash2

incoai · 工具包

通过起草一整块 token 让主模型验证，来加速 Qwen3.8-27B，输出保持不变。这是适用于 SGLang 和 vLLM 服务的 1.9B 草稿模型，不是独立的聊天模型。

Ling-3.0-tiny-GGUF

inclusionAI · 工具包

inclusionAI 的 Ling-3.0-tiny 的 GGUF 副本。这是一个小型混合专家推理模型，总参数 7.9B，激活参数 1.3B，适合低成本本地运行。

K2-Horizon-7B-Uno

IFM · 工具包

给 IFM 的 K2-Horizon-7B 语言模型加上扩散通路的 LoRA 适配器，用于研究更快的文本生成。它只包含适配器，不含基础权重。

K2-Horizon-7B-GGUF

IFM · 工具包

IFM 的 K2-Horizon-7B 文本模型的量化 GGUF 副本，可在 llama.cpp 中本地运行，从 BF16 到 4 位都有，上下文窗口为 512K 词元。

granite-4.2-3b

ibm-granite · 工具包

回答前先一步步推理，在 IBM 的紧凑 3B 模型中提供工具调用、代码生成和多语言对话。原生支持 128K 上下文，采用 Apache 2.0 开源。

SmolLM2-360M-Instruct

HuggingFaceTB · 工具包

用一个 3.62 亿参数、在普通硬件上就能运行的指令微调模型回答聊天式问题，也能做改写和摘要。适合想要比 135M 更有余量的小型聊天模型的开发者。

SmolLM2-135M

HuggingFaceTB · 工具包

用一个 1.35 亿参数、小到能在设备上运行的基础语言模型，根据提示续写英文文本。适合想用微型模型做测试或微调的开发者。

Carbon-X

HuggingFaceBio · 工具包

在聊天里读取原始 DNA 并用英文回答，判断变异看起来是良性还是致病，适合想在自己 GPU 上运行 DNA 语言模型的研究人员。

Spark-X2.6-4B-Blender

hotocooo · 工具包

编写 Blender 5.x 的 Python 脚本，生成干净的、以四边形为主的网格，比如道具、家具、产品以及人体和动物的基础网格。这是 Spark-X2.6-4B-Base 的 4B 微调版本，适合用脚本操作 Blender 的人。

Qwen3.8-27B Intel Arc Tuned

Greatjedi · 工具包

提供为 Intel Arc GPU 重新调整的 27B Qwen3.8 GGUF 文件，作者的测试里纯解码约每秒 22 个词元。适合在 Arc 显卡上用 llama.cpp 和 SYCL 的人。

MedErtas v0.1 31B LS

ErtasAI · 工具包

在 vLLM 和 NVIDIA Blackwell GPU 上运行面向医疗领域的语言模型，它是压缩后的 Gemma 4 31B。适合需要在考题、编码和答案核查任务上又快又省的医疗 AI 产品。

Qwen3.5-4B-SFT-decompiler-O0-full

Divij · 工具包

把反编译器的输出改写成可读的 C 源码，带有有意义的名称和正确的类型。这是在未优化二进制上训练的 Qwen3.5-4B 微调模型，适合安全研究者和逆向工程师。

Qwenputer-npu

divagr1925 · 工具包

一个把小型 RISC-V 计算机内置在权重里的 Qwen3.5-4B 模型，用于精确算术和运行一个微型故事模型。这是给研究 transformer 内部程序的研究者做的实验。

Qwen3.5-4B Qwenputer Filesystem

divagr1925 · 工具包

一个实验性的 Qwen3.5-4B，把 RISC-V CPU 和一个小型文件系统编译进了权重，所以它不用外部工具就能跨会话记住事实。检查点能放进 24 GB 的 GPU。

DeepSeek-V4-Pro

deepseek-ai · 工具包

用一个 1.6T 参数的混合专家模型生成文字，每个令牌激活 49B，最多可读入一百万个令牌。这是 DeepSeek 的预览版，适合能放下约 1,599 GB 权重的团队。

DeepSeek-V3.2

deepseek-ai · 工具包

DeepSeek 的 685B 开源推理模型，用稀疏注意力处理长上下文，聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。

Hydrogen-1.0 NVFP4

deep-principle · 工具包

Hydrogen-1.0 的 4-bit NVFP4 版本，这是 Deep Principle 的 381B 科学与研究助手模型，基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器，上下文为 1M 词元。

Hydrogen-1.0-MXFP4

deep-principle · 工具包

Deep Principle 的 384B 科学助手 Hydrogen-1.0 的 MXFP4 量化版本，面向 AMD Instinct 硬件。适合想用文本模型处理科学问题和研究规划的实验室。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

KAT-Coder-V2.5-Dev GGUF

bartowski · 工具包

Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本，这是一个 34.7B 文本模型，4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。

Smaug Humanizer

abacusai · 工具包

把 AI 写的文本改写成人类口吻，同时保留事实、数字、名称和排版。这是 Abacus.AI 基于 Gemma 4 微调的 12B 模型，适合写作者和编辑。

GLM-5.2

zai-org · 工具包

zai-org 推出的 753B 参数开放文本模型，适合编程和智能体这类长链条多步工作，有 1M 词元上下文，采用 MIT 许可证。适合拥有大型 GPU 集群的团队。

Forge-1-Gemma-4-E2B

YoSaNoo · 工具包

一个从 Google 的 gemma-4-E2B 微调而来的小型文本模型，偏向写代码，以 GGUF 文件发布，可在 Ollama、LM Studio、Unsloth 或 Jan 中在自己的笔记本上运行。

Spark-X2.6-1.7B-DSpark-GGUF

XHToken · 工具包

一个小型草稿模型，通过推测解码加速 Spark-X2.6-1.7B，每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。

Llama-3.2-1B-Instruct-GGUF

unsloth · 工具包

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

GLM-4-9B-0414-GGUF

unsloth · 工具包

用 9.4B 的 GLM-4-9B-0414 模型的 GGUF 文件生成中文和英文文本，适合想在自己电脑上运行 GLM 模型的人。

Hy-MT2-30B-A3B

tencent · 工具包

腾讯推出的 30B 混合专家翻译模型，支持 33 种语言互译，并能遵循翻译指令。适合要在自己 GPU 上做大批量机器翻译的团队。

MNN-Pocket-0.3B-MNN

taobao-mnn · 工具包

通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型，是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。

gemma-4-31B-it-scotoma-2-GGUF

ReadyArt · 工具包

这个模型是 ReadyArt 从自家 gemma-4-31B-it-scotoma-2 打包出来的 GGUF 版本，参数量 30.7B，可在本地运行。适合想以 GGUF 形式使用这个模型的人。