Unlimited-OCR-2-GGUF
RX5950XT · 工具包
Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件,提供 BF16、Q8_0 和 Q4_K_M,并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行,适合在本地读取扫描和多页文档的人。
新上架
RX5950XT · 工具包
Unlimited-OCR-2 文档 OCR 模型的 GGUF 文件,提供 BF16、Q8_0 和 Q4_K_M,并附视觉投影器。只能在应用了仓库补丁的 llama.cpp 里运行,适合在本地读取扫描和多页文档的人。
IFM · 工具包
3.7B 参数 K2-Horizon 文本模型的 GGUF 文件,提供从 BF16 到 Q4_K_M 的六种精度,用于 llama.cpp 运行。模型有 512K token 的上下文窗口。
ykarout · 工具包
为 Strata 推理引擎准备的 35B 模型 Sage-A1.5 的 Q4_K_M GGUF,能在 16 GB 显卡加 64 GB 内存上放下完整的 262K 上下文。适合在本地运行大模型的人。
bartowski · 工具包
Meta Llama 3.1 8B Instruct 的量化 GGUF 文件,用于本地聊天,例如 Q4_K_M 为 4.92 GB,Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言,可在 LM Studio 中运行。
InternScience · 工具包
以 4-bit GGUF 文件运行 Sage-A1.5,这是面向长篇科学任务的 35B 混合专家智能体模型。它能把工作分给子智能体并检查自己的进展,适用于 llama.cpp、Ollama 和 LM Studio。
qvac · 工具包
0.8B 工具调用模型 BotPsy 的 GGUF 版本,提供 BF16、Q8_0 和 Q4_K_M 三种文件,用 llama.cpp 在你自己的设备上完整运行智能体和函数调用任务。