Spark-X2.6-4B-FP8
XHToken · 工具包
面向设备端运行的 4.1B 参数紧凑文本模型,FP8 版本,有 none、low、high 三档思考等级,支持中英文。适合在小型硬件上做编程和智能体任务。
新上架
XHToken · 工具包
面向设备端运行的 4.1B 参数紧凑文本模型,FP8 版本,有 none、low、high 三档思考等级,支持中英文。适合在小型硬件上做编程和智能体任务。
unsloth · 工具包
在 NVIDIA 显卡上用 vLLM 运行 Unsloth 制作的快速 NVFP4 版 Qwen3.6 35B A3B。卡片说它的吞吐量是其他 NVFP4 版本的 1.79 倍,并且能放进 32 GB 显卡。
Nanbeige · 工具包
Nanbeige4.3-33B 的 INT4 量化版,这是一个面向编程和专业智能体任务的 33B 模型,用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。
ISTA-DASLab · 工具包
用 GSQ(Gumbel-Softmax 量化)制作的 Qwen3.6-35B-A3B 的 2 位量化副本,用小得多的内存保留大部分推理和编程能力。需配合打过补丁的 vLLM 使用。
ErtasAI · 工具包
在 vLLM 和 NVIDIA Blackwell GPU 上运行面向医疗领域的语言模型,它是压缩后的 Gemma 4 31B。适合需要在考题、编码和答案核查任务上又快又省的医疗 AI 产品。
cyankiwi · 工具包
cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本,一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB,可在 Transformers、vLLM 或 SGLang 中加载。
unsloth · 工具包
Unsloth 制作的 Qwen3.8 27B 视觉语言模型的 4-bit NVFP4 副本,用 vLLM 提供服务。适合想要能读图像和视频、能在智能体工具里工作的稠密模型的开发者。