Qwen3.6-35B-A3B-Escha-W2
EschaLabs · 工具包
用一个 12.3 GB 的 2-bit 版本在本地运行 Qwen3.6-35B-A3B,通过兼容 OpenAI 的 HTTP API 在一张 16 或 24 GB 的 NVIDIA GPU 上提供服务。适合在家里运行大型混合专家模型的人。
新上架
EschaLabs · 工具包
用一个 12.3 GB 的 2-bit 版本在本地运行 Qwen3.6-35B-A3B,通过兼容 OpenAI 的 HTTP API 在一张 16 或 24 GB 的 NVIDIA GPU 上提供服务。适合在家里运行大型混合专家模型的人。
litert-community · 工具包
在你自己的桌面上运行 Gemma 4 12B,支持文本、图像和音频输入,不需要联网。这是 LiteRT-LM 版本,适合想在 Windows、macOS 或 Linux 上私密地本地生成的开发者。
sakasegawa · 工具包
日语语音识别模型的 GGUF 文件,只能在 speech.cpp 中运行,支持 macOS、Windows、Linux,也可只用 CPU。适合在自己电脑上转写日语音频的人。