gemma-4-12B-it-qat-GGUF
unsloth · 工具包
Gemma 4 12B 的 GGUF 版本,经过量化感知训练,4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人,附带加快输出的草稿文件。
unsloth · 工具包
Gemma 4 12B 的 GGUF 版本,经过量化感知训练,4-bit 副本也能保持接近 bfloat16 的质量。适合用 llama.cpp 在本地运行 Gemma 的人,附带加快输出的草稿文件。
unsloth · 工具包
Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本,用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。
peonist-ai · 工具包
存放 halogen-flash-server 所用的模型权重,这个引擎能在 AMD Strix Halo 机器上运行 Qwen3.8-Flash-Next,适合想在本机运行该模型的这类硬件的主人。
nvidia · 工具包
NVIDIA 把阿里巴巴 Qwen3.8-27B 压缩成 4 位 NVFP4 的版本,用 Model Optimizer 制作,面向 Blackwell GPU,输入文字、图片和视频,输出文字。
KRAFTON · 工具包
把 Raon-1 nano 打包成 4-bit 的 LiteRT-LM 包,上下文 4,096 个 token,用于在设备上运行韩英双语聊天模型。回复不带思考步骤。
Sparset · 工具包
Thinklite-27B 的 4 位 GGUF 版本,适用于 llama.cpp,每次回答比基础模型用更少的推理,适合在本地运行 27B 文本模型的人。
KRAFTON · 工具包
提供适用于 Apple silicon 的 4-bit MLX 版 Raon-1 nano 权重,让开发者在 Mac 上本地运行韩英双语聊天模型。适合应用开发者和本地模型用户。
sahilmahendrakar · 工具包
在设备上把语音转成文字,并在说话人说完之前预测每个词,同时给每个词打分。这是 16.8 MB 的英语模型,适合语音智能体和实时字幕。
manuelgscom · 工具包
一个小型 4-bit GGUF 模型,把西班牙语或英语的普通请求变成一条 Linux bash 命令,在 dale 工具里离线用 CPU 运行,适合想要帮忙写 shell 命令的人。