来自 Hugging Face 的 AI 项目

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

Phi-4-mini-instruct

microsoft · 工具包

Microsoft 推出的 3.8B 开放指令模型，上下文 128K token，为内存或延迟紧张时的推理、数学和逻辑而做。适合给应用添加文本功能的开发者。

Ornith-1.5-9B-GGUF

AtomicChat · 工具包

Ornith 1.5 9B 的 GGUF 版本，这是一个能读图像和文字的模型，文件大小从 2.81 GB 到 17.9 GB，另有视觉投影文件。选一个适合你显存的文件，在本地运行。

Hy-Memory-30B-A3B

tencent · 工具包

为助手写长期记忆，在 Mem0、MemOS 或 Hy-Memory 里决定保留什么、怎样更新，约有 3B 激活参数。适合构建带记忆的 AI 智能体的开发者。

Ornith-1.5-122B-NVFP4-DFlash2-RTX-Spark

Sherlock-Comms · 工具包

通过 vLLM 和 DFlash2 推测解码来运行 122B 的 Ornith 1.5 模型，输出头保持未量化。适合有 128 GB 内存的 RTX Spark 笔记本。

Sarvam-105B GGUF

sarvamai · 工具包

Sarvam-105B 的 GGUF 版本，一个重视印度语言的大型混合专家模型，按 4 位拆成 9 个分片，供 llama.cpp 使用。适合内存充足、想用大型开源模型的人。

Chatterbox-Nano

ResembleAI · 工具包

这个 110M 参数的模型在普通 CPU 上朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合需要快速设备端语音、内存和延迟预算都很紧的开发者。

Qwen3.8-27B-mixed-3.5bpw-MLX

rapid-mlx · 工具包

一个压缩到每个权重 3.5 位的 27B 视觉语言模型，适用于 24 GB 内存的 Apple Silicon Mac，通过 Rapid-MLX 在本地提供服务。适合想要本地模型和智能体后端的 Mac 用户和开发者。

Qwen2.5-7B-Instruct-AWQ

Qwen · 工具包

Qwen2.5-7B-Instruct 的 4 位 AWQ 版本，一个 7.6B 的聊天模型，能遵循指令、处理表格并返回 JSON。适合想要更小内存占用的强力聊天模型的开发者。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Qwen3.8-27B Fable-5 Coding Distilled GGUF

mradermacher · 工具包

一个 27.3B、经过编程蒸馏的 Qwen3.8 模型的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行编程模型、需要一个放得进内存的尺寸的开发者。

JevK5-chat-mlx-4bit

mlx-community · 工具包

4.2B 聊天模型 JevK5 的 4-bit MLX 版本，面向 Apple Silicon，上下文 262,144 token，内存占用小。适合想在入门级 Mac 上用本地聊天模型的用户。

DeepSeek-V4.1-Flash-1017-oQ4e-ngram-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，把 Engram 表保留为 FP8。适合拥有数百 GB 内存、想用 MLX 工具运行该模型的人。

Qwen3.8-27B-oQ4e-mtp

Jundot · 工具包

在 MLX 上以约 17.5 GB 运行 27B 的 Qwen3.8 视觉语言模型，能读取文字、图片和视频，上下文为 262,144 个 token。这是 Jundot 的混合精度量化版本，适合内存有限的人。

Qwen3.6-35B-A3B-2Bit-GSQ

ISTA-DASLab · 工具包

用 GSQ（Gumbel-Softmax 量化）制作的 Qwen3.6-35B-A3B 的 2 位量化副本，用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。

SmolVLM2-2.2B-Instruct

HuggingFaceTB · 工具包

同时回答关于视频、图像和文字的问题，用一个 2.2B 模型，视频推理约需 5.2 GB GPU 显存。适合构建设备端视觉助手的开发者。

svd-linear-attention-roberta-base-adasplash

Hooshaai · 工具包

用 AdaSplash 稀疏注意力的 RoBERTa Base 模型对英文文本分类，比如 SST-2 情感，用部分精度换取更低的延迟和显存占用。

roberta-base-fwsvd-rank32

Hooshaai · 工具包

用 Fisher 加权 SVD 以 rank 32 把 RoBERTa Base 压缩到约 82M 参数，对英文文本分类，用部分精度换取更低的延迟和显存占用。

roberta-base-adasplash

Hooshaai · 工具包

一个 RoBERTa Base 情感分类器，把注意力换成稀疏的 AdaSplash 版本，让 40% 的注意力权重变成零，以降低耗时和内存。适合测试高效注意力的开发者。

hs-rerank-1

hindsight-ai · 工具包

给每份文档回答查询的程度打分，支持八种语言，输入最长 8,192 个 token，让搜索或记忆系统把最匹配的结果排在前面。适合构建检索功能的开发者。

Qwen 3.6 35B-A3B REAP-48 v2 GGUF

crucible-labs · 工具包

在 8.78 GiB 的 GGUF 文件里运行经过剪枝和量化的 Qwen3.6-35B-A3B，供 llama.cpp 使用，比第一版更接近未量化的权重。适合内存有限的人。

pig-vae

calcuis · 工具包

pig 架构的小型 GGUF VAE，用于图像和视频工作流，加载器在 gguf-node 包里。目标是在较旧的机器上运行更快、占用内存更少。

auto-150m-3

ProCreations · 工具包

根据工具调用、用户请求和历史，判断编程智能体提出的工具调用是否应该执行，回答批准或拒绝。这是 Auto 里最小的模型，适合内存很少的机器。

TAEF2

madebyollin · 工具包

用一个微型自动编码器实时预览 FLUX.2 的图像生成，它与 FLUX.2 VAE 使用相同的潜空间格式。适合图像应用开发者和内存有限的人。

DeepSeek-V4.1-Flash-1017 GGUF

ggml-org · 工具包

DeepSeek 的 748B 模型 V4.1 Flash 1017 的 GGUF 文件，由 ggml-org 转换并附带处理图片的视觉文件，适合有大内存机器、通过 llama.cpp 工具运行模型的人。

Qwen3.5-4B Qwenputer Filesystem

divagr1925 · 工具包

一个实验性的 Qwen3.5-4B，把 RISC-V CPU 和一个小型文件系统编译进了权重，所以它不用外部工具就能跨会话记住事实。检查点能放进 24 GB 的 GPU。

FLUX.1-schnell for ComfyUI

Comfy-Org · 工具包

为 ComfyUI 重新打包的 FLUX.1-schnell 检查点，把文字提示词变成图像，带有一个运行更快、占用内存更少的 FP8 文件。适合 ComfyUI 用户。

Chatterbox-Turbo

ResembleAI · 工具包

这个 350M 参数的模型为低延迟语音智能体打造，朗读英文文本，并能通过文本里的标签加入笑声和咳嗽声。适合想要快速、有表现力、显存占用更少的语音的开发者。

Qwen2.5-Coder-14B-Instruct-GGUF

Qwen · 工具包

提供 Qwen2.5-Coder 14B 指令模型的 GGUF 文件，有八种量化大小，可用 llama.cpp 辅助写代码。适合有好 GPU 或大内存机器、想要更强本地代码助手的开发者。

AREX-2 GGUF

mradermacher · 工具包

BAAI 的 AREX-2（26.9B）的 GGUF 量化文件，从 2 位到 8 位，另有可选的多模态补充文件。适合在本地运行大模型、想挑一个放得进自己内存的尺寸的人。

Kromoss GGUF

molbal · 工具包

Kromoss 的 GGUF 量化副本，Kromoss 是基于 MOSS-Image-Base 微调的 1024 像素文生图模型，用于 ComfyUI。适合想在显存有限的 GPU 上生成图像的画师。

DeepSeek-V4.1-Flash-1017-oQ4e-mtp

mlx-community · 工具包

DeepSeek-V4.1-Flash-1017 的混合精度 MLX 版本，这是一个超大的多模态混合专家模型。适合拥有数百 GB 内存、想用 MLX 工具运行它的人。

Qwen3.6-35B-A3B-coding-reap50-GGUF

anik-jha · 工具包

用砍掉一半专家的 Qwen3.6-35B-A3B 写代码，打包成适用于 llama.cpp 的 GGUF 文件。适合想要比完整模型占用更少内存的编程模型的开发者。

DeepSeek-V4.1-Flash-1017-exl3

turboderp · 工具包

在 ExLlamaV3 里以每权重 1.68、2.25 或 2.68 比特运行压缩后的 DeepSeek-V4.1-Flash-1017。适合在自己的硬件上运行大模型、想少占内存的人。

MemT-1.0-Nano

MemTensor · 工具包

自带固定大小记忆状态的语言模型，基于 Qwen3.6-35B-A3B，无需重读就能保留过去的上下文。适合研究模型和智能体记忆的研究人员和开发者。

Wan2.1-T2V-1.3B

Wan-AI · 工具包

根据文字提示生成 480P 短视频，小到大多数约 8 GB 显存的消费级 GPU 都能运行。适合想在本地做文字转视频的创作者和研究者。

Qwen3.8-27B-exl3

turboderp · 工具包

Qwen3.8-27B 的 EXL3 量化版本，提供从 1.40 到 6.00 的多种每权重比特数。适合在显存有限的 GPU 上用 ExLlamaV3 本地运行 27B 模型的人。

Sharp-Spark-X2.5-4B-GGUF

peculiar-ragdoll · 工具包

4B 编程模型 Spark-X2.5 的压缩 GGUF 版本，针对约 6 GB 显存的 GPU 调整了长上下文。适合想在小硬件上本地运行编程模型的开发者。

TinyLlama-1.1B-Chat-v1.0

TinyLlama · 工具包

以小型 1.1B 语言模型的身份用纯文本聊天，运行时占用内存很少。适合想要基于 Llama 风格基础模型的紧凑聊天模型的开发者和研究人员。

Juggernaut-XL-v9

RunDiffusion · 工具包

根据文字提示生成写实风格的图片，是 Stable Diffusion XL 的微调版本，模型卡说它能在 8 GB 显存上运行。适合想用现有 SDXL 工具得到照片风格效果的创作者。

Gemma4-12B v2 Coding + Agentic Edition

yuxinlu1 · 工具包

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

GLM-5.3-Flash-GGUF

unsloth · 工具包

在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本，作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。

Sharp-Spark-X2.6-4B-GGUF

peculiar-ragdoll · 工具包

在 6 GB 显存的显卡上运行支持长上下文的 4B 编程模型。这些 Spark-X2.6-4B 的 GGUF 量化版有三种大小，使用偏向编程的重要性矩阵。

gpt-oss-20b

openai · 工具包

根据文字提示词写作、推理并调用工具，是 OpenAI 的 21B 开放权重模型，可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。

Memorilla-Qwen3-8B

memorilla · 工具包

收录 Memorilla 的记忆模块检查点，通过 Qwen3-Embedding-4B 编码器给冻结的 Qwen3-8B 模型加上记忆。适合研究语言模型记忆的研究者。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

FlyHash vs SimHash Demo

pranamhan · 工具包

一个交互式浏览器演示，比较 FlyHash 和 SimHash 的检索效果，配合一篇关于 FlyHash 用于 LLM 智能体记忆的论文。适合构建智能体记忆的研究人员和开发者。

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。

infersize

prajwalpujari16 · 工具包

一个浏览器工具，在你租用或购买硬件之前，估算 LLM 需要的 GPU 显存，比较 GPU，估算投机解码的延迟，并估算每百万 token 的云成本。

KVPress Leaderboard

nvidia · 工具包

展示一个排行榜，用 Llama-3.1-8B-Instruct 和 Qwen3-8B 对比语言模型的 KV 缓存压缩方法。适合比较缩减模型所需内存方式的研究者和工程师。

MEMFOF Optical Flow

egorchistov · 工具包

为全高清视频估计光流，也就是帧与帧之间每个像素的运动，同时占用很少的 GPU 显存，带 Gradio 演示和多个训练好的模型。适合计算机视觉研究者和视频工程师。

Local Llm Vram Calculator

abdulrahmanmaslmany · 工具包

估算语言模型需要的 GPU 显存：权重、KV cache 和总显存。适合在自己的显卡上运行模型、想先确认能否放得下的人。

GGUF Model VRAM Calculator

DavidAU · 工具包

在浏览器里运行的静态页面，估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。

LLM VRAM Calculator

donaldJJ · 工具包

估算 Hugging Face 模型在任意量化和上下文长度下需要多少显存，拆成权重、KV 缓存和额外开销，并显示哪些 GPU 容量够用。适合计划在本地运行大模型的人。

VRAM & GPU Cost Calculator

fastgpu · 工具包

估算 Hugging Face 模型运行或微调需要多少 GPU 显存，并列出最便宜的 GPU 配置和实时租用价格。适合计划托管或训练模型的人。