GLM-5.3-Flash EXL3 3.05bpw
albucino · 工具包
在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash,支持 262,144 词元的上下文,使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。
新上架
albucino · 工具包
在两块 RTX 3090 和 128 GB 内存上本地运行 GLM-5.3-Flash,支持 262,144 词元的上下文,使用经过校验的 3.05 bpw EXL3 量化版本。适合在家里托管大模型的人。
prajwalpujari16 · 工具包
一个浏览器端的 LLM 服务基准注册表,数据取自消费级 GPU,双 Tesla T4 和 RTX 3050 笔记本,带并发扩展曲线,还能提交你自己的测量结果。