AI 智能体技能、规则与提示词工具包

Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants · 工具包

以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型，只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。

LocalAlign_llama3.1_8B

yuyangGong · 工具包

Llama-3.1-8B-Instruct 的 LoRA 适配器，训练它遵循可信指令、忽略藏在外部数据里的命令。适合构建 LLM 应用、需要提示词注入防御的人。

Llama-3.2-3B-Instruct-GGUF

unsloth · 工具包

用 Meta 的紧凑模型 Llama 3.2 3B 指令版聊天、总结和回答问题，提供 Unsloth 制作的 GGUF 文件，从 2 位到 16 位。小到普通笔记本也能用。

Llama-3.1-8B-Stheno-v3.4

Sao10K · 工具包

写故事，并在多轮对话中扮演角色。这是一个面向创意写作和角色扮演的 8B Llama 3.1 微调模型，适合在自己机器上运行模型的爱好者。

Llama-3.2-1B-Instruct GGUF

bartowski · 工具包

Llama-3.2-1B-Instruct 的 GGUF 量化版本，这是一个支持八种语言的 1.2B 文本模型，4 位文件约 0.8 GB。适合运行微型本地模型的人。

Hermes-3-Llama-3.2-3B

NousResearch · 工具包

一个 3.2B 的聊天助手模型，能遵循指令、调用函数、输出结构化内容并写代码。适合在自己电脑上运行模型的开发者和爱好者。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Llama-3.2-3B-Instruct-GGUF

bartowski · 工具包

bartowski 用重要性矩阵为 Meta 的 Llama-3.2-3B-Instruct 制作的 GGUF 量化版本，大小约从 1.8 GB 到 6.4 GB。适合用 llama.cpp 或 LM Studio 在本地运行小型聊天模型。

Llama-3.2-1B-Instruct-GGUF

unsloth · 工具包

在笔记本上聊天、总结和回答文字问题，是 Unsloth 提供的 Meta 小型 Llama 3.2 1B Instruct 的 GGUF 副本，精度从 16 比特到 2 比特。适合开发者和学习者。

Hermes-3-Llama-3.1-8B-GGUF

NousResearch · 工具包

把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件，供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。

Hermes 3 Llama-3.1 8B

NousResearch · 工具包

Nous Research 基于 Llama 3.1 的 8B 通用对话模型，支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。

Llama-V-JEPA-LM-Llama3.2-3B

kkt94 · 工具包

用一个 4.2B 的模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-3B-Instruct 上，适合只有一块 12 GB 以上 GPU 的人。

Llama-V-JEPA-LM-Llama3.2-1B

kkt94 · 工具包

用一个 1.5B 的小模型回答关于视频片段的问题，它把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.2-1B-Instruct 上，适合只有一块普通 GPU 的人。

Llama-V-JEPA-LM-Llama3.1-8B

kkt94 · 工具包

把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上，用来回答关于视频片段的问题，适合做视频理解的人。

KVPress Leaderboard

nvidia · 工具包

展示一个排行榜，用 Llama-3.1-8B-Instruct 和 Qwen3-8B 对比语言模型的 KV 缓存压缩方法。适合比较缩减模型所需内存方式的研究者和工程师。