来自 Hugging Face 的 AI 项目

Gemma4-12B v2 Coding + Agentic Edition

yuxinlu1 · 工具包

Google Gemma 4 12B 指令模型的 GGUF 微调版本，面向编程和使用工具的智能体工作，只需约 4.5 GB 空闲内存就能离线运行。

GLM-5.3-Flash-GGUF

unsloth · 工具包

在你自己的硬件上运行 Unsloth 的 GLM-5.3-Flash 文本模型 GGUF 版本，作者把这个大型开源模型定位于编码和智能体工作。适合内存充足的人。

Sharp-Spark-X2.6-4B-GGUF

peculiar-ragdoll · 工具包

在 6 GB 显存的显卡上运行支持长上下文的 4B 编程模型。这些 Spark-X2.6-4B 的 GGUF 量化版有三种大小，使用偏向编程的重要性矩阵。

gpt-oss-20b

openai · 工具包

根据文字提示词写作、推理并调用工具，是 OpenAI 的 21B 开放权重模型，可在 16 GB 内存内运行。适合想要本地或专用模型的开发者。

Memorilla-Qwen3-8B

memorilla · 工具包

收录 Memorilla 的记忆模块检查点，通过 Qwen3-Embedding-4B 编码器给冻结的 Qwen3-8B 模型加上记忆。适合研究语言模型记忆的研究者。

DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF

ISTA-DASLab · 工具包

ISTA-DASLab 制作的 DeepSeek-V4.1-Flash-1017 专家剪枝加量化的 GGUF 版本，面向代码和智能体工作，transformer 权重为 72.1 GB。适合有大内存机器的开发者。

FlyHash vs SimHash Demo

pranamhan · 工具包

一个交互式浏览器演示，比较 FlyHash 和 SimHash 的检索效果，配合一篇关于 FlyHash 用于 LLM 智能体记忆的论文。适合构建智能体记忆的研究人员和开发者。

mini-infer

prajwalpujari16 · 工具包

一个浏览器工作室，模拟 GPU 上的 PagedAttention 块分配、前缀缓存、投机解码校验和 KV 缓存估算。适合想看清 LLM 服务如何管理显存的工程师和学生。

infersize

prajwalpujari16 · 工具包

一个浏览器工具，在你租用或购买硬件之前，估算 LLM 需要的 GPU 显存，比较 GPU，估算投机解码的延迟，并估算每百万 token 的云成本。

KVPress Leaderboard

nvidia · 工具包

展示一个排行榜，用 Llama-3.1-8B-Instruct 和 Qwen3-8B 对比语言模型的 KV 缓存压缩方法。适合比较缩减模型所需内存方式的研究者和工程师。

MEMFOF Optical Flow

egorchistov · 工具包

为全高清视频估计光流，也就是帧与帧之间每个像素的运动，同时占用很少的 GPU 显存，带 Gradio 演示和多个训练好的模型。适合计算机视觉研究者和视频工程师。

Local Llm Vram Calculator

abdulrahmanmaslmany · 工具包

估算语言模型需要的 GPU 显存：权重、KV cache 和总显存。适合在自己的显卡上运行模型、想先确认能否放得下的人。

GGUF Model VRAM Calculator

DavidAU · 工具包

在浏览器里运行的静态页面，估算一个 GGUF 模型需要多少显存。适合想选一个能装进自己显卡的量化模型的人。

LLM VRAM Calculator

donaldJJ · 工具包

估算 Hugging Face 模型在任意量化和上下文长度下需要多少显存，拆成权重、KV 缓存和额外开销，并显示哪些 GPU 容量够用。适合计划在本地运行大模型的人。

VRAM & GPU Cost Calculator

fastgpu · 工具包

估算 Hugging Face 模型运行或微调需要多少 GPU 显存，并列出最便宜的 GPU 配置和实时租用价格。适合计划托管或训练模型的人。