Qwen3.8-27B-NVFP4
RadixArk · 工具包
Qwen3.8-27B 的预量化 NVFP4 版本,能读取文字、图片和视频并用文字回答,通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。
写代码、审代码用的提示词、编程智能体任务说明和工具包,花更少的 Token。
RadixArk · 工具包
Qwen3.8-27B 的预量化 NVFP4 版本,能读取文字、图片和视频并用文字回答,通过 SGLang 在 NVIDIA Blackwell 显卡上提供服务。适合在该硬件上运行智能体、聊天机器人和 RAG 的开发者。
Qwen · 工具包
这个模型同时读图像和文字并用文字回答,是总参数 122B、激活参数 10B 的混合专家模型。适合有大型 GPU 服务器、想用开源视觉语言模型做推理、编程和智能体的团队。
Qwen · 工具包
通过 mlx 库运行 Qwen3 8B 语言模型,用于聊天、推理、翻译和智能体任务。适合想在本地使用可切换思考模式的文本模型的开发者。
pipecat-ai · 工具包
给 Pipecat 语音智能体提供两个小型 CPU 模型,一个读取来电者的情绪和讽刺,一个给智能体的回复加上富有表现力的朗读标签。适合语音智能体的开发者。
nvidia · 工具包
读取文本和图像并输出文本,是 NVIDIA 制作的 DeepSeek-V4.1-Flash 的 NVFP4 精简版本。适合在 NVIDIA Blackwell GPU 上部署智能体、聊天机器人和检索系统的开发者。
Nanbeige · 工具包
Nanbeige4.3-33B 的 INT4 量化版,这是一个面向编程和专业智能体任务的 33B 模型,用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。
Nanbeige · 工具包
4.2B 参数的紧凑循环式 Transformer 模型,面向工具使用、办公任务和编程等智能体工作,支持英语和中文。适合想用小型开放模型做智能体的开发者。
mistralai · 工具包
Mistral 为 Lean 4 证明助手推出的开源代码智能体模型。它能证明定理、修复 Lean 代码,支持文本和图像,可通过 Mistral API 或你自己的 vLLM 服务器运行。
meta-models · 工具包
一个 300 亿参数智能体模型的 GGUF 版本,供 llama.cpp 使用,附带可选的图像编码器和推测解码草稿模型。适合在 24 GB 显卡上本地运行模型的人。
lightonai · 工具包
一个 2.5B 参数的模型,通过搜索和阅读代码仓库,找出与缺陷报告或问题相关的文件和行范围。通过 ColGrep 在本地运行。
kaushikvira · 工具包
把 763.2B 参数的 DeepSeek V4.1 Flash 做成 153 GiB 的混合精度版本,针对智能体和编程工作调校,在 strata 引擎上运行。适合有大显存 GPU 和大量内存的人。
Jackrong · 工具包
为长时间的智能体任务缩短推理时间、降低成本,是 Qwen3.8-27B 微调模型的 GGUF 版本。适合在自己机器上跑智能体循环、想让每一轮更快的人。
IsValorum · 工具包
一个仅支持英文的编程模型,GGUF 格式,42.6B 参数的混合专家量化版,约 21.8 GB,用于在 llama.cpp 或 LM Studio 里做代码补全、重构和智能体工具调用。
InternScience · 工具包
作为一个 35B 开放权重语言模型,负责多步骤智能体工作:规划、搜索、调用工具和科学推理。适合要把模型接入会调用工具的智能体的开发者。
ibm-granite · 工具包
为 IBM Granite 模型提供六个 LoRA 适配器,用于在 RAG 流程中改写查询、请求澄清、判断段落、检查可回答性和标记幻觉。适合构建智能体检索的开发者。
deepgrove · 工具包
一个 20B 的三值权重推理模型,每个词元激活约 1B 参数。为快速的设备端使用而设计,检查点为 5.31 GB,上下文为 131,072 词元。这是一个预览版,在智能体任务上较弱。
CohereLabs · 工具包
Cohere 的开放权重研究模型,用于写代码、智能体软件工程和终端任务。30B 模型,3B 激活,256K 上下文。适合自己运行编程模型的开发者。
ByteDance-Seed · 工具包
一个开放的多模态智能体模型,能读屏幕截图并决定在应用、浏览器、手机和游戏中做什么。适合构建电脑操作和图形界面自动化智能体的开发者。
unsloth · 工具包
在你自己的机器上读取文字和图片、编写代码并调用工具,使用 Unsloth 刷新后的 Qwen3.5 35B-A3B 视觉语言模型 GGUF 文件。适合运行本地智能体的开发者。
agentionai · 工具包
把 Qwen3.8-27B 打包成适用于 llama.cpp 的 GGUF 文件,有八种大小,从 8.95 到 16.35 GiB,另附视觉投影器。作者称在每个大小上,它与 BF16 模型的偏离都比其他量化版本小。