MiniCPM-OCR 1.0 DSpark
openbmb · 工具包
通过起草 token、再让主模型一次性验证,加快 MiniCPM-OCR 1.0 的解码。它是草稿头,不是独立的 OCR 模型,适合自己部署文档解析的人。
新上架
openbmb · 工具包
通过起草 token、再让主模型一次性验证,加快 MiniCPM-OCR 1.0 的解码。它是草稿头,不是独立的 OCR 模型,适合自己部署文档解析的人。
openbmb · 工具包
通过 llama.cpp 运行 1B 视觉语言模型,回答关于图片的文字提示词。提供多种量化大小的 GGUF 文件,适合想要小型本地模型的开发者和爱好者。
AQ-MedAI · 工具包
一个小型草稿模型,通过 SGLang 里的推测解码加速 Ling-3.1-Flash,每次草拟 5 个或 7 个 token。适合在 NVIDIA GPU 上部署 Ling-3.1-Flash 的团队。
XHToken · 工具包
一个小型草稿模型,通过推测解码加速 Spark-X2.6-1.7B,每步最多猜 7 个 token。适合在支持它的 llama.cpp 构建上本地运行该模型的人。
通过 mlx-serve 在 128 GB 内存的 Mac 上运行剪枝后的 2 位 DeepSeek-V4.1-Flash,保留 384 个专家中的 192 个和 1M token 上下文。在代码、推理和工具调用上表现最好。
XHToken · 工具包
作为推测解码的小型草稿模型,为 Spark-X2.6-4B 加速文本生成,提供 GGUF 格式。适合用 llama.cpp 在本地运行该模型的人。