Meta-Llama-3.1-8B-Instruct-AWQ-INT4
hugging-quants · 工具包
以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型,只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。
hugging-quants · 工具包
以 4 位 AWQ 形式运行 Meta 的 Llama 3.1 8B Instruct 聊天模型,只需约 4 GiB 的 GPU 空闲显存来放权重。适合想要紧凑多语言聊天模型的开发者。
yuyangGong · 工具包
Llama-3.1-8B-Instruct 的 LoRA 适配器,训练它遵循可信指令、忽略藏在外部数据里的命令。适合构建 LLM 应用、需要提示词注入防御的人。
Sao10K · 工具包
写故事,并在多轮对话中扮演角色。这是一个面向创意写作和角色扮演的 8B Llama 3.1 微调模型,适合在自己机器上运行模型的爱好者。
bartowski · 工具包
Meta Llama 3.1 8B Instruct 的量化 GGUF 文件,用于本地聊天,例如 Q4_K_M 为 4.92 GB,Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言,可在 LM Studio 中运行。
NousResearch · 工具包
把 NousResearch 的 8B 通用聊天模型 Hermes 3 做成量化 GGUF 文件,供 llama.cpp 使用。适合想在本机用函数调用、结构化输出和代码帮助的人。
NousResearch · 工具包
Nous Research 基于 Llama 3.1 的 8B 通用对话模型,支持函数调用、结构化输出、角色扮演和代码辅助。适合想要一个可以自己运行、可引导的开放助手的开发者。
kkt94 · 工具包
把冻结的 V-JEPA 2.1 视频编码器接到 Llama-3.1-8B-Instruct 上,用来回答关于视频片段的问题,适合做视频理解的人。
nvidia · 工具包
展示一个排行榜,用 Llama-3.1-8B-Instruct 和 Qwen3-8B 对比语言模型的 KV 缓存压缩方法。适合比较缩减模型所需内存方式的研究者和工程师。