Qwenputer-npu
divagr1925 · 工具包
一个把小型 RISC-V 计算机内置在权重里的 Qwen3.5-4B 模型,用于精确算术和运行一个微型故事模型。这是给研究 transformer 内部程序的研究者做的实验。
divagr1925 · 工具包
一个把小型 RISC-V 计算机内置在权重里的 Qwen3.5-4B 模型,用于精确算术和运行一个微型故事模型。这是给研究 transformer 内部程序的研究者做的实验。
divagr1925 · 工具包
一个实验性的 Qwen3.5-4B,把 RISC-V CPU 和一个小型文件系统编译进了权重,所以它不用外部工具就能跨会话记住事实。检查点能放进 24 GB 的 GPU。
deepseek-ai · 工具包
用一个 1.6T 参数的混合专家模型生成文字,每个令牌激活 49B,最多可读入一百万个令牌。这是 DeepSeek 的预览版,适合能放下约 1,599 GB 权重的团队。
deepseek-ai · 工具包
DeepSeek 的 685B 开源推理模型,用稀疏注意力处理长上下文,聊天模板让它能一边思考一边调用工具。适合运行大模型和构建智能体的团队。
deep-principle · 工具包
Hydrogen-1.0 的 4-bit NVFP4 版本,这是 Deep Principle 的 381B 科学与研究助手模型,基于 GLM-5.3。需要多 GPU 的 NVIDIA Blackwell 服务器,上下文为 1M 词元。
deep-principle · 工具包
Deep Principle 的 384B 科学助手 Hydrogen-1.0 的 MXFP4 量化版本,面向 AMD Instinct 硬件。适合想用文本模型处理科学问题和研究规划的实验室。
bartowski · 工具包
Meta Llama 3.1 8B Instruct 的量化 GGUF 文件,用于本地聊天,例如 Q4_K_M 为 4.92 GB,Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言,可在 LM Studio 中运行。
bartowski · 工具包
bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本,大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。
bartowski · 工具包
Kwaipilot 的 KAT-Coder-V2.5-Dev 的 imatrix GGUF 量化版本,这是一个 34.7B 文本模型,4 位文件约 19 GB 起。适合在本地运行名字里带 Coder 的大模型的人。
abacusai · 工具包
把 AI 写的文本改写成人类口吻,同时保留事实、数字、名称和排版。这是 Abacus.AI 基于 Gemma 4 微调的 12B 模型,适合写作者和编辑。
zai-org · 工具包
zai-org 推出的 753B 参数开放文本模型,适合编程和智能体这类长链条多步工作,有 1M 词元上下文,采用 MIT 许可证。适合拥有大型 GPU 集群的团队。
YoSaNoo · 工具包
一个从 Google 的 gemma-4-E2B 微调而来的小型文本模型,偏向写代码,以 GGUF 文件发布,可在 Ollama、LM Studio、Unsloth 或 Jan 中在自己的笔记本上运行。
XHToken · 工具包
一个小型草稿模型,通过推测解码加速 Spark-X2.6-1.7B,每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。
unsloth · 工具包
在笔记本上聊天、总结和回答文字问题,是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本,精度从 16 比特到 2 比特。适合开发者和学习者。
unsloth · 工具包
用 9.4B 的 GLM-4-9B-0414 模型的 GGUF 文件生成中文和英文文本,适合想在自己电脑上运行 GLM 模型的人。
tencent · 工具包
腾讯推出的 30B 混合专家翻译模型,支持 33 种语言互译,并能遵循翻译指令。适合要在自己 GPU 上做大批量机器翻译的团队。
taobao-mnn · 工具包
通过 MNN 运行时在手机和边缘设备上运行 0.3B 的中英文对话模型,是约 173 MB 的 4 比特版本。适合给移动应用加入设备端助手的开发者。
ReadyArt · 工具包
这个模型是 ReadyArt 从自家 gemma-4-31B-it-scotoma-2 打包出来的 GGUF 版本,参数量 30.7B,可在本地运行。适合想以 GGUF 形式使用这个模型的人。
Qwen · 工具包
一个 4B 的 GGUF 聊天模型,可在 llama.cpp 或 ollama 里本地运行,有用于推理的思考模式和用于快速回复的普通模式。适合使用普通电脑的开发者和爱好者。
Qwen · 工具包
这是一个 14.8B 参数的开源模型,难题用思考模式推理,日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。