开发者 AI 技能与智能体

Qwen3.8-27B-QUASAR-NVFP4

QUASAR-QAT · 工具包

以 4-bit NVFP4 运行 Qwen3.8-27B，仅 19.7 GB，用 QUASAR 方法训练，使它接近完整的 BF16 模型。适合在 NVIDIA Blackwell GPU 上用 vLLM 部署的人。

AstrLink Guard

QuantumNous · 工具包

在 ONNX 中本地识别中文、英文和混合文本、代码、日志以及 AI 编程助手请求里的个人信息和凭据。适合在敏感数据离开机器前对它做遮盖的开发者。

MakHam Thai TTS

pythainlp · 工具包

用一个只有 8 MB 的 ONNX 小模型，以女声朗读泰语文本，在单个 CPU 线程上就能运行。适合需要在服务器、边缘设备或浏览器里提供泰语语音的开发者。

deberta-v3-base-prompt-injection-v2

protectai · 工具包

识别企图劫持语言模型的英文文本，把每条输入标为正常或提示词注入。适合在 LLM 应用里筛查用户输入的开发者。

Gender-Classifier-Mini

prithivMLmods · 工具包

用微调后的 SigLIP 2 图像模型把照片分成女性或男性两类。适合想要一个小型 Python 分类器来处理照片集的开发者和研究人员。

Bonsai-1.7B-unpacked

prism-ml · 工具包

1 位 Bonsai-1.7B 模型的 FP16 safetensors 副本，用于在标准 Hugging Face 工具里运行它。模型卡建议改用原生 1 位版本，那些版本更小也更快。

IndiCodec

prakharkhatri · 工具包

把语音变成两路紧凑的词元，再还原成 24 kHz 音频，码率 1.09 kbps，重点支持英语和十种印度语言。适合语音研究人员和文字转语音的开发者。

Pipecat Tone

pipecat-ai · 工具包

给 Pipecat 语音智能体提供两个小型 CPU 模型，一个读取来电者的情绪和讽刺，一个给智能体的回复加上富有表现力的朗读标签。适合语音智能体的开发者。

DeepSeek-V4.1-Flash-1017-EXL3-franken-v100

philbert440 · 工具包

在八块 Tesla V100 32 GB 显卡上，以完整的 100 万词元上下文运行 DeepSeek V4.1 Flash，用的是 EXL3 专家包和 SM70 版 vLLM。适合拥有这类服务器的人。

pplx-embed-v2-context-9b

perplexity-ai · 工具包

把文本、图像和文档页面转成用于搜索的向量，还能在嵌入每个分块时参考它所在的整篇文档。适合为长文档做检索的开发者。

pplx-decider-flash-gguf-v1.2

perplexity-ai · 工具包

根据你设定的选项给请求分类，支持文本和图像，使用小型决策模型的 Q8_0 GGUF 副本。适合能运行协议 v3 运行时的开发者。

HolosTTS

patriotyk · 工具包

把乌克兰语音素转成语音，可用预设声音或从音频样本克隆的声音，输出流式 24 kHz 单声道音频。适合在 PyTorch、ONNX Runtime、MLX 或 Android 上添加乌克兰语语音的开发者。

PP-OCRv6_small_rec

PaddlePaddle · 工具包

能读出图片里的英文和中文文字，是 PaddleOCR 的 PP-OCRv6 系列里的小型模型。适合想在自己机器上用轻量 OCR 的开发者。

Primal VAE

ostris · 工具包

提供小型图像自编码器，把图片压成一两个潜变量通道，不需要缩放系数，再通过分块拼成 Flux 或 Stable Diffusion 的潜变量形状。适合搭建扩散模型的人。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

MOSS-Video-Preview-Real-Time-SFT

OpenMOSS-Team · 工具包

在视频播放的同时给出评论，逐帧接收画面并低延迟作答。适合用 Python 和 transformers 构建实时视频助手的开发者和研究人员。

MOSS-TTS-v1.5

OpenMOSS-Team · 工具包

用 31 种语言朗读文字，并能用一小段参考音频克隆声音，支持语言标签和明确的停顿标记。适合给产品加入语音的配音人员、配音团队和开发者。

MOSS-TTS

OpenMOSS-Team · 工具包

用八种语言朗读文字，支持零样本声音克隆、长篇语音，并可控制发音和时长。适合音频制作人和开发语音功能的开发者。

MOSS-Music-8B-Instruct

OpenMOSS-Team · 工具包

听一首歌并回答有关它的问题：带时间戳的歌词、情绪和曲风、调、速度与和弦，以及歌曲结构。适合处理音乐音频的开发者和研究人员。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

MiniCPM-OCR 1.0 DSpark

openbmb · 工具包

通过起草 token、再让主模型一次性验证，加快 MiniCPM-OCR 1.0 的解码。它是草稿头，不是独立的 OCR 模型，适合自己部署文档解析的人。

SenseNova-6.8-Code2Video GSQ-RCO GGUF

OliviaRossi · 工具包

以混合精度 GGUF 文件运行 26.9B 参数的 SenseNova-6.8-Code2Video 模型，可在终端聊天或启动本地服务。适合想在自己硬件上使用该模型的人。

RealVisXL V5.0 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 RealVisXL V5.0 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Juggernaut XL v9 GGUF

off-grid-ai · 工具包

用 stable-diffusion.cpp 加上 Juggernaut XL v9 的 GGUF 副本，在你自己的电脑上根据文字生成图片。适合想在本地生成图片、并在更轻或更高质量的文件之间选择的人。

Parakeet RNNT 1.1B

nvidia · 工具包

把英文语音转写成小写文本。由 NVIDIA NeMo 和 Suno.ai 团队开发的 1.1B FastConformer Transducer 模型，适合给应用加入语音识别的开发者。

DeepSeek-V4.1-Flash-NVFP4

nvidia · 工具包

读取文本和图像并输出文本，是 NVIDIA 制作的 DeepSeek-V4.1-Flash 的 NVFP4 精简版本。适合在 NVIDIA Blackwell GPU 上部署智能体、聊天机器人和检索系统的开发者。

YuE2 Particle Sliders v2

ntc-ai · 工具包

为 YuE2-3B 的音频生成加上 16 个滑块，调整声音和曲风，适合想用一个提示词塑造英文文本转音频效果的人。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

nomic-embed-text-v1.5-GGUF

nomic-ai · 工具包

通过 llama.cpp 在你自己的机器上把句子变成向量，使用紧凑的 GGUF 文件，适合搜索和 RAG 提问。适合想要本地文本嵌入的开发者。

ClipProj-MiniMax-H3

NicoLab28 · 工具包

让小型 Qwen3-VL 在 ComfyUI 里代替 MiniMax H3 的 32B 文本编码器，把显存从 15.7 GB 降到 4.5 GB。这是需要自定义节点的概念验证项目。

BERTimbau Base

neuralmind · 工具包

一个用巴西葡萄牙语预训练的 BERT 模型，能补全被遮住的词，也能生成文本嵌入。适合处理葡萄牙语文本的 NLP 开发者和研究人员。

Confucius4-TTS

netease-youdao · 工具包

用 14 种语言朗读你的文字，还能在不同语言之间复制参考声音，无需额外训练。这是网易有道的语音合成系统，适合开发者和创作者。只能使用你有权使用的声音。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Nanbeige4.2-3B

Nanbeige · 工具包

4.2B 参数的紧凑循环式 Transformer 模型，面向工具使用、办公任务和编程等智能体工作，支持英语和中文。适合想用小型开放模型做智能体的开发者。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

OneJev1.6-4B-GGUF

mradermacher · 工具包

OneJev1.6-4B 的量化 GGUF 副本，大小从约 2 GB 到 8.5 GB，可在你自己的电脑上运行。模型卡没有说明基础模型的用途。

L3-8B-Stheno-v3.3-32K-GGUF

mradermacher · 工具包

Sao10K 的 Stheno 8B 模型的静态 GGUF 文件，大小从 3.3 GB 到 16.2 GB。适合想在自己电脑上运行 8B 模型的人，许可证为非商业。

KnowLine-4B-Gen5.5-GGUF

mradermacher · 工具包

PelaAI 的 KnowLine 4B 模型的静态 GGUF 文件，大小从 2.1 GB 到 8.8 GB，标注了英文和中文。适合想在自己电脑上运行小模型的人。

AIRealNet-2

Modotte · 工具包

一个小型图像分类器，区分 AI 生成的图片和人类拍摄的照片，针对不同质量的社交媒体图片做了调整。适合筛查图片的审核员、研究者和事实核查人员。

VulnLLM-R-7B-8bit

mlx-community · 工具包

通过 mlx-lm 运行 VulnLLM-R-7B 的 8 位 MLX 版本，用于文本生成。适合想在本地试用该模型的开发者。模型卡没有说明它的训练用途。

Qwen3.6-35B-A3B-4bit

mlx-community · 工具包

Qwen3.6-35B-A3B 的 4-bit MLX 转换版，可在 Apple Silicon Mac 上回答文本和图片提示词。适合想用 mlx-vlm 在本地运行这个 Qwen 模型的人。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。

clef-flash-4bit

mlx-community · 工具包

Cloudflare 的 clef-flash 的 4 位 MLX 版本，在 Apple Silicon Mac 上把一个状态和带类型的问题变成每个允许答案的概率。不是聊天模型。用自带的加载器在本地运行。

Mistral-7B-v0.1

mistralai · 工具包

作为 7B 预训练基础模型生成并续写文字，适合想要一个起点来测试、微调或在其上开发的研究人员和开发者。

Mistral-7B-Instruct-v0.1

mistralai · 工具包

Mistral 推出的 7B 指令微调聊天模型，基于 Mistral-7B-v0.1，用公开的对话数据集微调。适合想要一个能遵循提示词的小型开放模型的开发者。

Leanstral 1.5 119B A6B

mistralai · 工具包

Mistral 为 Lean 4 证明助手推出的开源代码智能体模型。它能证明定理、修复 Lean 代码，支持文本和图像，可通过 Mistral API 或你自己的 vLLM 服务器运行。

KLM 1.5

MinimaLabs · 工具包

一个 99M 参数的基础语言模型，从零开始在 100B token 上训练，采用混合注意力设计。适合想运行、研究或微调一个极小开放模型的研究人员和爱好者。

TRELLIS-image-large

microsoft · 工具包

用微软的大型图像条件 TRELLIS 模型，从一张图片生成 3D 资产。适合想从图片获得 3D 内容的开发者、游戏美术和研究人员。

Phi-4-multimodal-instruct

microsoft · 工具包

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

Phi-4

microsoft · 工具包

Microsoft Research 推出的 14B 开放语言模型，针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能，或研究中等规模模型的开发者。

harrier-oss-v1-27b

microsoft · 工具包

把多种语言的文本转成嵌入向量，用于搜索、聚类、相似度、分类和重排序。适合做语义搜索或检索、并且能部署 27B 模型的开发者。

Florence-2-large

microsoft · 工具包

把图片和一条简短的任务提示词配对，就能给图片写说明、找出物体、读出图中文字。适合用 transformers 在 Python 里跑视觉任务的开发者和研究人员。

GLM-5.3-Flash EXL3 4bpw for TensorFold

Mia-AiLab · 工具包

为 TensorFold 准备的 GLM-5.3-Flash 4 位 EXL3 量化版，在大小相同的情况下 KL 散度低于流行的 TR3-4bpw 量化版。适合在 DGX Spark 机器上部署大模型的人。

Muse Glimmer 30B GGUF

meta-models · 工具包

一个 300 亿参数智能体模型的 GGUF 版本，供 llama.cpp 使用，附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。

LongCat-AudioDiT-3.5B

meituan-longcat · 工具包

用直接在波形潜空间里工作的扩散模型，把中文或英文文本变成语音，还能用你有权使用的参考样本克隆声音。

Maya-1

maya-research · 工具包

一个开放权重的文字转语音模型，你用日常的话描述声音，并加入内嵌的情绪提示。适合需要有表现力、可设计声音的开发者和创作者。

SPEAR XLarge v2

marcoyang · 工具包

把 16 kHz 的语音和通用音频转成每帧 1280 个数字的特征，是约 6 亿参数的预训练 Zipformer 编码器。适合为语音识别或音频标注做微调的研究者。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Maincoder-1B

Maincode · 工具包

根据函数签名或文档字符串补全并编写 Python 代码。这是 Maincode 的 1B 代码模型，小到能在消费级硬件上运行，适合想在本地做代码补全的开发者。

DeepSeek-V4.1-Flash-1017-FLARE

local-inference-lab · 工具包

为四卡 GPU 服务准备的 DeepSeek V4.1 Flash 1017 签名 Flare 运行时包，支持文本和图片，提供兼容 OpenAI 的 API。适合在自有 NVIDIA 硬件上运行大模型的人。

Qwen3.8-27B-MLX-8bit

lmstudio-community · 工具包

在 Apple Silicon Mac 上运行 8 位 MLX 版本的 27B 图文模型，适合想在本地回答图片问题的人。

ControlNet v1.1 depth (SD 1.5)

lllyasviel · 工具包

用深度图引导 Stable Diffusion 1.5，让生成的图像保持原图的布局。这是 diffusers 格式的 ControlNet v1.1，适合想控制构图的艺术家和开发者。

VoiceConversionWebUI

lj1995 · 工具包

存放一个 Hugging Face 仓库的文件，仓库名称指向带网页界面的声音转换。模型说明只有一行，所以这些文件做什么、怎么运行并不明确。

Gemma 4 12B IT (LiteRT-LM)

litert-community · 工具包

在你自己的桌面上运行 Gemma 4 12B，支持文本、图像和音频输入，不需要联网。这是 LiteRT-LM 版本，适合想在 Windows、macOS 或 Linux 上私密地本地生成的开发者。

LightVAE

lightx2v · 工具包

通过 ComfyUI 节点或 Python 脚本，为 Wan2.1、Wan2.2 和 MiniMax-H3 换上更轻的视频自编码器部件。适合想要紧凑 VAE 组件的视频 AI 用户。

mSlideOn

lightonai · 工具包

把查询和文档变成可用倒排索引检索的稀疏向量，支持多种语言和长文本。这是一个 339M 参数的多语言检索模型，适合构建搜索的人。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

MMAudio_safetensors

Kijai · 工具包

提供 safetensors 格式的 MMAudio 模型，配合 Kijai 的 ComfyUI-MMAudio 节点为视频生成声音。适合处理音频和视频的 ComfyUI 用户。

MiniMax-H3-TAE

Kijai · 工具包

一个训练得很快的小型解码器，在 ComfyUI 里生成 MiniMax-H3 视频时提供实时画面预览，比默认的 latent2rgb 预览更清楚。

MOSS-Image FP16-fixed

KBlueLeaf · 工具包

MOSS-Image Base 和 SFT 的图像 transformer，权重经过重新缩放，可在 fp16 下运行而不溢出，输出保持一致。适用于 diffusers、ComfyUI 和 KohakuMoss。

DeepSeek-V4.1-Flash-1017-GSQ-agentic-strata

kaushikvira · 工具包

把 763.2B 参数的 DeepSeek V4.1 Flash 做成 153 GiB 的混合精度版本，针对智能体和编程工作调校，在 strata 引擎上运行。适合有大显存 GPU 和大量内存的人。

DiT-Wikiart-Small

kaupane · 工具包

为小型扩散 transformer 预测噪声，它在 Wikiart 画作上从零训练，用来根据流派和风格生成艺术图片。适合研究小型图像模型的开发者和学生。

tinyllamas

karpathy · 工具包

提供一系列采用 Llama 2 设计、在 TinyStories 数据集上训练的小型语言模型，为 Karpathy 的 llama2.c 项目而做。适合想试试小模型的开发者。

Kandinsky S2V 1.0 Lite distilled

kandinskylab · 工具包

把一张参考图和一段语音变成头像视频，让整个人物随语音动起来。蒸馏版 Lite 只需 16 步，速度约为基础版的 5 倍。

FlashVSR

JunhaoZhuang · 工具包

一个一步扩散的视频超分辨率模型，以流式方式放大低分辨率视频，在单块 A100 GPU 上处理 768 x 1408 视频约 17 帧每秒。这是第一版，即版本 1。

Qwen3.8-27B-oQ8e-mtp

Jundot · 工具包

把 Qwen3.8-27B 做成 8 位混合精度的 MLX 检查点，带视觉编码器和 MTP 头，用于苹果硬件上的图文聊天。适合想在本地得到接近完整质量的人。

Qwen3.8-27B-oQ4e-mtp

Jundot · 工具包

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

GLM-5.3-Flash-oQ4e-mtp

Jundot · 工具包

zai-org 的 GLM-5.3-Flash 多模态混合专家模型的混合精度 MLX 副本，约每个权重 4.6 位，包含视觉编码器和多词元预测头。

JDI-Decision-V0.9

JoyIndustrial · 工具包

用内置 OCR 的 Qwen3.8-27B 决策系统，针对图像和文字回答选择题式的问题，并给出各选项的概率。适合需要从图片得到结构化选择的开发者。

LongCap-35B-A3B-FP8

JinchuanTian · 工具包

把最长约两小时的录音变成带起止时间的语音、音乐和声音事件时间线，也能转写语音并标出说话人。FP8 权重，适合单张 H100 80GB 显卡。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Qwen3.8-27B-NVFP4 Deployment Edition

IteraCompute · 工具包

用 vLLM 在一块 RTX 5090 上以 NVFP4 运行 Qwen3.8-27B，带校验和验证的下载、FP8 KV 缓存、工具调用和推理支持。适合在 Blackwell GPU 上自托管大模型的开发者。

Qwen3.8-Flash-Coder APEX-I-MiniPlus V2.1 GGUF

IsValorum · 工具包

一个仅支持英文的编程模型，GGUF 格式，42.6B 参数的混合专家量化版，约 21.8 GB，用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

Agents-A1

InternScience · 工具包

作为一个 35B 开放权重语言模型，负责多步骤智能体工作：规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。

InstantID

InstantX · 工具包

只用一张人脸照片和一段文字提示词，就能生成同一个人的新图片，并保持面部可辨认。适合用 Python 运行 Stable Diffusion XL 流程的开发者和创作者。

Flint-DFlash2

incoai · 工具包

一个 403M 参数的草稿模型，用 SGLang 里的推测解码加快 Flint 语言模型的服务速度，并且不改变输出。它不是独立的模型。

Ming-3.0-tts-tiny

inclusionAI · 工具包

inclusionAI 的多语言文字转语音模型，可根据短音频克隆声音，也能按描述设计声音，并控制情绪、语速和方言。推理需要它的 GitHub 项目。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

Granite RAG Library

ibm-granite · 工具包

为 IBM Granite 模型提供六个 LoRA 适配器，用于在 RAG 流程中改写查询、请求澄清、判断段落、检查可回答性和标记幻觉。适合构建智能体检索的开发者。

Granite-Docling-258M

ibm-granite · 工具包

把文档页面图像转换成结构化文本，支持公式、版面和关于页面元素的提问，是 IBM Research 的 258M 模型。适合用 Docling 构建文档转换的人。

granite-4.2-8b GGUF

ibm-granite · 工具包

提供 IBM Granite 4.2 8B 模型的多种量化级别 GGUF 副本，可直接用于 llama.cpp。适合想在本地运行该模型、并从基础模型卡了解详情的人。

Granite-4.2-3B (GGUF)

ibm-granite · 工具包

把 IBM 的 Granite 4.2 3B 文本模型打包成 GGUF 文件，供本地使用。4 位权重估计约 1.8 GB，适合想要采用 Apache 2.0 许可的小型模型的人。

Granite-4.0-H-350M

ibm-granite · 工具包

用 IBM 推出的 340M 参数指令模型处理摘要、分类、抽取、问答、RAG、代码任务和工具调用，支持 12 种语言。适合需要紧凑设备端模型的开发者。