AI 智能体技能、规则与提示词工具包

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

Flint INT4

RecursiveSI · 工具包

Recursive Flint 的 4-bit MLX 版本，约 22.6 GB，用于 Apple Silicon 本地运行，可通过 Rec 配合 pi 或 OpenCode 启动。适合想把 Flint 接入编程工具的 Mac 用户和开发者。

Nanbeige4.3-33B-INT4

Nanbeige · 工具包

Nanbeige4.3-33B 的 INT4 量化版，这是一个面向编程和专业智能体任务的 33B 模型，用量化感知训练制成。适合想用更少内存运行强大开放智能体模型的开发者。

Qwen3.8-27B-AWQ-INT4

cyankiwi · 工具包

cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本，一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB，可在 Transformers、vLLM 或 SGLang 中加载。