来自 Hugging Face 的 AI 项目

DeepSeek-V4.1-Flash-1017 EXL3 2.9 bpw

LibertAIDAI · 工具包

以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017，这是一份 196 GiB 的副本，适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。

Qwen2.5-7B-Instruct-GGUF

Qwen · 工具包

Qwen2.5-7B-Instruct 的 GGUF 文件，提供八种量化大小，可通过 llama.cpp 在本地聊天。适合想在自己电脑上用 7.6B 强力模型、又不想搭 Python 环境的人。

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

officialmobai_Rostam-S1-4B-GGUF

bartowski · 工具包

Rostam-S1-4B 的 GGUF 量化版本，这是一个 4B 推理模型，擅长数学、物理、软件工作和波斯语与英语文本。适合在本地运行小模型、想自己挑文件大小的人。

Hemmingway-1.5 GGUF

bartowski · 工具包

HemmingwayAI 的 Hemmingway-1.5 的 imatrix GGUF 量化版本，这是一个 27B 文本模型，支持 MTP 推测解码，并有推理强度提示格式。适合在本地运行大模型的人。

Phi-4-mini-instruct

microsoft · 工具包

Microsoft 推出的 3.8B 开放指令模型，上下文 128K token，为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。

Qwen3.8-9B-Distill

empero-ai · 工具包

逐步推理数学、代码和一般问题，每个回答都以思考块开头。这是用更大的 Qwen3.8 教师模型的轨迹训练出的 9B Qwen3.5 模型，适合单张 GPU 使用。

Ornith-1.5-35B-A3B-NVFP4

ornith-ai · 工具包

能写代码、处理终端智能体任务，是每个 token 约用 3B 参数的混合专家模型，这里是 NVFP4 版本。适合想在自己硬件上部署编程模型的开发者。

gemma-4-26B-A4B-it Cactus CQ

Cactus-Compute · 工具包

Google gemma-4-26B-A4B-it 聊天模型的 2 位、3 位和 4 位压缩副本，使用 Cactus 权重格式。专为通过 Cactus 运行时在 ARM 设备上运行而做。

Groot-19B-A3B-TTQ-GGUF

TokenTinkerer · 工具包

为 llama.cpp 提供 Groot-19B-A3B 推理模型的十一种 GGUF 大小，从 7.88 到 18.59 GiB，另有一个视觉投影文件。适合在自己电脑上运行该模型的人。

zeta-2.1

zed-industries · 工具包

根据文件上下文和你最近的编辑，预测光标附近的代码接下来该怎么改写。这是 Zed Industries 的模型，适合构建编辑器功能的人。

Qwen3.8-27B-DFlash2-GGUF

z-lab · 工具包

GGUF 格式的草稿模型，通过提出词元块让主模型验证来加速 Qwen3.8-27B。适合在本地用 llama.cpp 运行该模型的人。

LocalAlign_llama3.1_8B

yuyangGong · 工具包

Llama-3.1-8B-Instruct 的 LoRA 适配器，训练它遵循可信指令、忽略藏在外部数据里的命令。适合构建 LLM 应用、需要提示词注入防御的人。

Yalda Embedding

Yaldat · 工具包

把波斯语文本转成 1,024 维的嵌入向量，用于语义搜索和检索。适合需要把波斯语问题匹配到正确段落的开发者。

MiMo-V2.6-Pro-MOPD

XiaomiMiMo · 工具包

用 1T 参数的混合专家模型处理文本、图像、视频和音频，并经过调教，在智能体工作中更少重复调用工具。适合能托管超大模型的团队。

Spark-X2.6-4B-FP8

XHToken · 工具包

面向设备端运行的 4.1B 参数紧凑文本模型，FP8 版本，有 none、low、high 三档思考等级，支持中英文。适合在小型硬件上做编程和智能体任务。

Spark-X2.6-1.7B-Base

XHToken · 工具包

一个紧凑的 1.7B 语言模型，面向设备端使用，支持英文和中文，在编程、智能体任务和长上下文上有提升，并有三档可调的思考级别。适合在本地运行模型的开发者。

Spark-X2.5-4B

XHToken · 工具包

一个紧凑的 4.1B 通用语言模型，原生支持 1M token 上下文和 200 多种语言，采用混合注意力设计，针对编码和智能体使用调校。适合想要小型开放模型的开发者。

Qwen3-30B-A3B-GGUF

unsloth · 工具包

unsloth 量化的 Qwen3-30B-A3B GGUF 文件，用于在 llama.cpp、Ollama 或 Open WebUI 里运行本地聊天和推理模型，思考模式可以逐轮开关。

Qwen3-14B-GGUF

unsloth · 工具包

把 Qwen3 14B 做成 GGUF 文件，可在你自己的电脑上运行。这个文本生成模型既能深入思考难题，也能快速作答。由 unsloth 打包，适合在本地运行模型的人。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

gpt-oss-120b-GGUF

unsloth · 工具包

用 Unsloth 制作的 GGUF 文件运行 OpenAI 的开放权重模型 gpt-oss-120b，它有 117B 参数，其中 5.1B 处于激活状态，文件带有 Unsloth 的修复。面向推理、智能体任务和开发者使用。

gemma-3-270m-it-GGUF

unsloth · 工具包

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

ERNIE-4.5-21B-A3B-Thinking-GGUF

unsloth · 工具包

用每个词元只激活 3B 参数的 21B 混合专家模型处理逻辑、数学、科学和编程问题，提供 Unsloth 制作的 GGUF 文件。支持工具调用和 128K 上下文。

Hy-Memory-30B-A3B

tencent · 工具包

为助手写长期记忆，在 Mem0、MemOS 或 Hy-Memory 里决定保留什么、怎样更新，约有 3B 激活参数。适合构建带记忆的 AI 智能体的开发者。

Qwen3.8-27B-Longbook27-v2

summerAIO · 工具包

用经过微调、采用 Gated DeltaNet 层的 27B 模型，对整本书长度的文字做摘要、问答和续写，支持英语和日语。适合处理长文档的人。

Mica v0.1 4B

sky7350 · 工具包

针对给定状态下的问题，为每个允许的答案给出概率，题型可以是是非、选择或评分，不生成文字。适合给智能体和应用加入快速判断的开发者。

BeeLLM

schizophyllume · 工具包

提供一组会发出蜜蜂嗡嗡声的小型 GGUF 语言模型，有只会嗡嗡的小蜜蜂、带情绪标签的蜜蜂，以及蜂后与工蜂相连的蜂巢。适合喜欢超小模型的爱好者和开发者。

Sarvam-30B

sarvamai · 工具包

Sarvam AI 的混合专家语言模型，总参数 322 亿，每个词元激活 24 亿，面向英语和多种印度语言的实际使用。模型卡的示例代码需要 NVIDIA 显卡。

Sarvam-105B GGUF

sarvamai · 工具包

Sarvam-105B 的 GGUF 版本，一个重视印度语言的大型混合专家模型，按 4 位拆成 9 个分片，供 llama.cpp 使用。适合内存充足、想用大型开源模型的人。

Qwen3-4B P9 Honeypot

samliumay · 工具包

一个用于 Qwen3-4B 的小型研究适配器，让模型充当诱饵。发现有人套取机密时，它会向本地收集器发出无声警报，然后给出编造的值。仅限实验室使用。

MiMo-V2.6-Distill-Qwen-9B-GSQ-RCO-GGUF

sainez · 工具包

把一个 9B 的编程和工具调用模型做成一个 3.64 GiB 的 GGUF 文件，以约 3.5 比特每权重量化，方便在你自己的机器上运行。

Flint INT4

RecursiveSI · 工具包

Recursive Flint 的 4-bit MLX 版本，约 22.6 GB，用于 Apple Silicon 本地运行，可通过 Rec 配合 pi 或 OpenCode 启动。适合想把 Flint 接入编程工具的 Mac 用户和开发者。

gemma-4-31B-it-scotoma-2

ReadyArt · 工具包

ReadyArt 的 31.3B 参数文本生成模型，基于 Google 的 gemma-4-31b-it，以 Safetensors 存放。页面没有说明用途，适合想研究 Gemma 4 变体的人。

Qwen3-8B-MLX-bf16

Qwen · 工具包

通过 mlx 库运行 Qwen3 8B 语言模型，用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。

Qwen3-30B-A3B-GGUF

Qwen · 工具包

一个 30.5B 的混合专家聊天模型，GGUF 格式，每个词元只激活 3.3B 参数，可在 llama.cpp 或 ollama 里运行。有思考和普通两种模式，适合机器配置较高的开发者。

Qwen3-0.6B-GGUF

Qwen · 工具包

一个 0.6B 的小型 GGUF 聊天模型，可在 llama.cpp 或 ollama 里本地运行，并能在思考和普通回复之间切换。适合硬件一般的用户和测试本地模型的开发者。

Qwen2.5-Coder-7B

Qwen · 工具包

作为 7.6B 的基础语言模型来补全和生成代码，开发者可以运行它、微调它，或用于代码中间填充任务。适合制作编程工具的人。

Qwen2.5-Coder-32B-Instruct-GGUF

Qwen · 工具包

一个 32B 代码聊天模型的 GGUF 版本，可用 llama.cpp 在本地运行。能根据简单请求编写、解释和修复代码，适合想在自己机器上运行的开发者。

Qwen2.5-Coder-0.5B-Instruct

Qwen · 工具包

这是一个仅 494M 参数的对话模型，能写代码、解释代码、修代码，上下文为 32,768 个 token。适合想在笔记本、测试环境或本地小助手里用最小开源 Qwen 编程模型的开发者。

Qwen2.5-7B-Instruct-AWQ

Qwen · 工具包

Qwen2.5-7B-Instruct 的 4 位 AWQ 版本，一个 7.6B 的聊天模型，能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。

Qwen2.5-14B-Instruct

Qwen · 工具包

这是一个 14.7B 参数的对话模型，能回答问题、写代码、做数学题并输出结构化 JSON，上下文最长 131,072 个 token。适合想自己运行开源模型的开发者。

Qwen2.5-0.5B

Qwen · 工具包

Qwen2.5 里最小的基础模型，约 4.94 亿参数，上下文 32,768 个词元，用来在你自己的数据上继续训练。适合想在微型语言模型上搭建的开发者。

Limite 1B - Violetto

paradigma-inc · 工具包

用一个从头训练的 1B 参数模型解决难度很高的数学题，追求高速、大批量的推理。适合在 NVIDIA GPU 上运行数学任务的开发者。

Raptor-0.6-4B-JANG_6M

OsaurusAI · 工具包

能判断什么时候调用工具、什么时候直接回答、什么时候先问一句，由 4B 模型微调并量化，适用于运行 Osaurus 的 Apple Silicon Mac。适合在本地运行助手的人。

LFM2.5-350M-home-assistant-sft

OrdenWills · 工具包

把“关掉电视”这样的日常家居指令变成结构化的工具调用，并先检查设备状态。这是一个 3.5 亿参数的模型，适合智能家居开发者和爱好者。

MOSS-Video-Preview-Real-Time-SFT

OpenMOSS-Team · 工具包

在视频播放的同时给出评论，逐帧接收画面并低延迟作答。适合用 Python 和 transformers 构建实时视频助手的开发者和研究人员。

Luciole-8B-Instruct-1.1-GGUF

OpenLLM-France · 工具包

Luciole-8B-Instruct-1.1 的量化 GGUF 副本，一个支持法语和英语的 8B 文本生成模型，可在你自己的电脑上运行。来自 LINAGORA 在 OpenLLM-France 联盟中的工作。

Octen-WebGR-0.6B

Octen · 工具包

把一条简短的搜索查询变成它最可能指向的网址，模型里自带一张含 3090 万个 URL 的表。适合想要小型自托管查找工具的开发者和研究人员。

Hermes-4.3-36B-GGUF

NousResearch · 工具包

Hermes 4.3 36B 的 GGUF 版本，是一个混合推理模型，能先思考再回答、写出有效的 JSON，并遵循你的系统提示词。适合在自己机器上运行大模型的人。

Qwen3.8-Flash-Next-DFlash2-GGUF

nazeshinjite · 工具包

一个 GGUF 草稿模型，通过推测解码让 llama.cpp 里的 Qwen3.8-Flash-Next 更快，文件有 334 MiB 和 622 MiB 两种。它不是独立模型，适合在本地运行该目标模型的人。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Nanbeige4.2-3B

Nanbeige · 工具包

4.2B 参数的紧凑循环式 Transformer 模型，面向工具使用、办公任务和编程等智能体工作，支持英语和中文。适合想用小型开放模型做智能体的开发者。

Agaram 2.5B

murai-labs · 工具包

能用泰米尔文、罗马化泰米尔语和英语聊天，也能在泰米尔语和英语之间翻译。这是 Murai Labs 从零训练的 2.5B 模型，适合泰米尔语使用者、研究人员和开发者。

VulnLLM-R-7B-8bit

mlx-community · 工具包

通过 mlx-lm 运行 VulnLLM-R-7B 的 8 位 MLX 版本，用于文本生成。适合想在本地试用该模型的开发者。模型卡没有说明它的训练用途。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

flint-mixed-3-4bit

mlx-community · 工具包

社区制作的 Recursive Flint 40B 编程模型 MLX 版本，把专家层压到 3 位，可在 24 GB 或 32 GB 的 Apple Silicon Mac 上运行。适合想在 Mac 上用本地编程模型的开发者。

Mistral-7B-v0.1

mistralai · 工具包

作为 7B 预训练基础模型生成并续写文字，适合想要一个起点来测试、微调或在其上开发的研究人员和开发者。

Mistral-7B-Instruct-v0.1

mistralai · 工具包

Mistral 推出的 7B 指令微调聊天模型，基于 Mistral-7B-v0.1，用公开的对话数据集微调。适合想要一个能遵循提示词的小型开放模型的开发者。

MiroThinker-v1.0-8B

miromind-ai · 工具包

一个开放的研究智能体模型，能在长上下文中推理，并在每个任务里多次调用工具查找信息。基于 Qwen3-8B 的 8B 版本，适合在自己硬件上运行研究智能体的开发者。

KLM 1.5

MinimaLabs · 工具包

一个 99M 参数的基础语言模型，从零开始在 100B token 上训练，采用混合注意力设计。适合想运行、研究或微调一个极小开放模型的研究人员和爱好者。

Phi-4-multimodal-instruct

microsoft · 工具包

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

Phi-4

microsoft · 工具包

Microsoft Research 推出的 14B 开放语言模型，针对计算资源有限时的英语推理和对话做了调整。适合给应用添加文本功能，或研究中等规模模型的开发者。

Maya-1

maya-research · 工具包

一个开放权重的文字转语音模型，你用日常的话描述声音，并加入内嵌的情绪提示。适合需要有表现力、可设计声音的开发者和创作者。

dale-9b (GGUF)

manuelgscom · 工具包

把西班牙语或英语请求变成一条 Linux bash 命令，以小型 JSON 对象返回。适合想要在 CPU 或 GPU 上运行本地命令助手的终端用户和开发者。

askmdb-9b-GGUF

manuelgscom · 工具包

根据西班牙语或英语的日常提问，写出只读的 MongoDB 聚合管道。这是 Qwen3.5-9B 微调版的 GGUF 副本，可用 llama.cpp 在本地运行，适合想用日常语言查询数据的开发者。

Maincoder-1B

Maincode · 工具包

根据函数签名或文档字符串补全并编写 Python 代码。这是 Maincode 的 1B 代码模型，小到能在消费级硬件上运行，适合想在本地做代码补全的开发者。

Qwen3.6-35B-A3B Claude 4.7 Opus Reasoning Distilled

lordx64 · 工具包

回答前会在明确的思考块里推理，用约 8k 条 Claude Opus 4.7 的推理轨迹调优。这是 35B 混合专家的 Qwen3.6 变体，适合困难的数学、科学、代码和规划。

ColGrep-Agent-2B

lightonai · 工具包

一个 2.5B 参数的模型，通过搜索和阅读代码仓库，找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。

humanizer-GGUF

jialinyyzz · 工具包

把 AI 写的英文和中文草稿重写成读起来像真人写的，同时保留数字、日期、名字和引语。一个 12B 模型，以 GGUF 文件提供，可在本地运行。

Qwopus3.8-27B-Flash-GGUF

Jackrong · 工具包

为长时间的智能体任务缩短推理时间、降低成本，是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Jackrong · 工具包

在 think 标签里一步步思考问题，是用推理链微调的 4B Qwen3.5 模型，以 GGUF 打包。适合想在自己电脑上运行小型推理模型的人。

MLX-Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-6bit

Jackrong · 工具包

以 MLX 格式、6 位运行一个只有 0.8B 的推理调优聊天小模型，转换自 Jackrong 的 Qwen3.5 蒸馏模型。适合想在 Mac 上用一个很小本地模型的人。

Agents-A1

InternScience · 工具包

作为一个 35B 开放权重语言模型，负责多步骤智能体工作：规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。

Flint-DFlash2

incoai · 工具包

一个 403M 参数的草稿模型，用 SGLang 里的推测解码加快 Flint 语言模型的服务速度，并且不改变输出。它不是独立的模型。

K2-Horizon-3.7B-GGUF

IFM · 工具包

3.7B 参数 K2-Horizon 文本模型的 GGUF 文件，提供从 BF16 到 Q4_K_M 的六种精度，用于 llama.cpp 运行。模型有 512K token 的上下文窗口。

K2-Horizon-0.9B

IFM · 工具包

作为一个紧凑的开源推理模型，回答数学、编程和科学问题，一次最多能读取 128K 个 token。由 IFM 制作，适合想要数据和代码都公开的小模型的人。

ibnsina-1.5b

ibnsina-llm · 工具包

一个小型波斯语语言模型，可离线写作、摘要、翻译和聊天，主要用波斯语文本从零训练。可通过 ollama、LM Studio 或 llama.cpp 在笔记本上运行。

Granite-Docling-258M

ibm-granite · 工具包

把文档页面图像转换成结构化文本，支持公式、版面和关于页面元素的提问，是 IBM Research 的 258M 模型。适合用 Docling 构建文档转换的人。

Granite-4.0-H-350M

ibm-granite · 工具包

用 IBM 推出的 340M 参数指令模型处理摘要、分类、抽取、问答、RAG、代码任务和工具调用，支持 12 种语言。适合需要紧凑设备端模型的开发者。

ALLaM-7B-Instruct-preview

humain-ai · 工具包

用阿拉伯语和英语回答问题、遵循指令。这是沙特数据与人工智能管理局（SDAIA）下属国家人工智能中心从零训练的 7B 模型，适合构建阿拉伯语工具的开发者和研究人员。

zephyr-7b-beta

HuggingFaceH4 · 工具包

作为乐于助人的助手进行对话，由 Mistral-7B 经直接偏好优化调教而成。适合想自己运行小型开源聊天模型的开发者和爱好者。

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

hesamation · 工具包

以四种量化大小的 GGUF 文件在你自己的机器上运行推理微调的 Qwen3.6-35B-A3B，训练数据是 Claude Opus 4.6 风格的推理数据。适合想在本地获得逐步推理回答的人。

Parallel Constrained Decoding for Apple Silicon

harshatheg · 工具包

在 Apple Silicon 上用 MLX 提取结构化字段、路由决策和给文本分类，一次给所有模式字段打分。在 M4 Max 上延迟降低 5.6 到 7.0 倍，JSON 始终有效。

Tev-320B

gordonhu · 工具包

一个 320B 的混合专家智能体模型，只用一个 bash 工具完成较长的终端任务。用 1,170 个环境做强化学习训练，面向研究者，采用非商业许可。

Qwen2.5-Coder-1.5B Q8_0 GGUF

ggml-org · 工具包

通过 llama.cpp 在你自己的机器上运行 Qwen2.5-Coder 1.5B 的 Q8_0 GGUF 文件，可以用命令行，也可以做成本地服务器。适合想用小型代码模型的开发者。

SaulLM-54B-Instruct

Equall · 工具包

针对法律文本调优的语言模型，用美国和欧洲的法律资料训练。这是面向研究和改造法律 AI 的研究版本。它的回答仅供参考，不是法律意见。

ARK-ASR-3B

Edge0 · 工具包

用 Whisper 风格的音频编码器加 Qwen 解码器，把多种语言的语音转成文字。适合需要多语言转写的开发者和研究者，卡里给出了英文和中文的结果。

theOG-50M

DrunkkToys · 工具包

根据一段英文说明写出 Python 函数。这是在一台笔记本上从零训练的 50M 参数代码模型，小到可以在 Ollama、LM Studio 或 llama.cpp 里离线运行。

Maple-Preview

deepgrove · 工具包

一个 20B 的三值权重推理模型，每个词元激活约 1B 参数。为快速的设备端使用而设计，检查点为 5.31 GB，上下文为 131,072 词元。这是一个预览版，在智能体任务上较弱。

Kiyo-65M

DedeProGames · 工具包

用一个只有 65M 参数的仅解码器小模型续写英文文本，它在 80B 个词元上训练。适合想研究、比较小型 transformers 模型或拿它测试代码的学习者和研究者。

Gemma-3-12b-it-MAX-HORROR-Imatrix-GGUF

DavidAU · 工具包

写带有恐怖色彩的小说。这是 Gemma 3 12B instruct 的 GGUF 版本，用恐怖模型生成的 imatrix 量化，适合在本地运行模型的创作者。

PLLuM-12B-chat-2512

CYFRAGOVPL · 工具包

PLLuM 系列的波兰语聊天模型，按人类偏好调优，适合对话、问答和摘要，并关注波兰公共服务场景。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

Underdog-Woof-4B-1.1

ConwayResearch · 工具包

这是一个紧凑的 4.2B 文本生成模型，基于 Qwen 3 4B 后训练，更适配 Underdog 自己的配套环境，并量化为 4-bit MLX 格式。适合在非商业场景下运行小型本地模型的人。

Instinct

continuedev · 工具包

预测你在代码里接下来可能做的修改。这是 Continue 推出的 7.6B 模型，基于 Qwen2.5-Coder-7B 微调，适合想在自己电脑或服务器上运行它的开发者。

ConeML 1.2B Experimental

ConeML · 工具包

从你提供的事实里找出最高、最老或第一个对象，是一个小型英文研究模型，提供 FP32 Safetensors 和 Q8_0 GGUF 文件。适合研究者，仅限非商业使用。

North Mini Code

CohereLabs · 工具包

Cohere 的开放权重研究模型，用于写代码、智能体软件工程和终端任务。30B 模型，3B 激活，256K 上下文。适合自己运行编程模型的开发者。

Chroma Context-1

chromadb · 工具包

一个 200 亿参数的搜索模型，为复杂的多步问题找出支撑文档，并在搜索中修剪自己的上下文。设计成与更大的推理模型搭配的检索助手。

North-Mini-Code-1.0 GGUF

byteshape · 工具包

North-Mini-Code-1.0 编程模型的 GGUF 副本，用 ByteShape 的 ShapeLearn 压缩，面向 llama.cpp 中的 GPU 使用。四种大小，从 12.1 GB 到 21.5 GB，适合单 GPU 的开发者。