GLM-5.3-Flash EXL3 3.05bpw
albucino · 工具包
在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash,支持 262,144 词元的上下文,使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。
新上架
albucino · 工具包
在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash,支持 262,144 词元的上下文,使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。
cdiamond · 工具包
Qwen3.8-27B 的 17.1 GB 混合精度 GGUF,保留了多词元预测层,为 24 GB GPU 上的 256K 上下文和视觉功能调优。适合在 llama.cpp 里本地运行大模型的人。