gemma-3-270m-it-GGUF

gemma-3-270m-it-GGUF

作为 268M 的指令微调 Gemma 3 模型，以 GGUF 格式根据提示词生成文本，小到可以在笔记本和台式机上运行。适合想要一个微型本地模型来运行或微调的开发者。

由 unsloth 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：gemma-3-270m-it-GGUF 是 Unsloth 制作的 GGUF 副本，来自 Google 的指令微调 Gemma 3 模型，有 2.68 亿个参数。它读入文字提示词，再写回文字，比如一个回答或一份摘要。模型卡为这个尺寸提供了免费的微调笔记本。

适合谁：它适合想在自己电脑上用一个微型模型的开发者和学习者，也适合想用低成本模型练习微调的人。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在本地运行一个小型文本模型 | 在工具里回答简短的问题
教育 | 学习者 | 在微型模型上练习微调 | 照着这个尺寸的免费笔记本操作
研究 | 实验者 | 在小模型上测试提示词和采样设置 | 比较不同设置下的回复

如果你需要更大 Gemma 3 尺寸的更长上下文，可以跳过它，那些尺寸最高可达 128K 个 token。

用在哪里：

• 能加载 GGUF 文件的运行环境
• Google Colab，通过模型卡链接的免费微调笔记本使用
• Windows、macOS 或 Linux，下载步骤需要 Python

Use case | Who | What they get back
问答 | 开发者 | 对你提示词的简短书面回答
摘要 | 写作者和开发者 | 你粘贴进去的文档的精简版
微调练习 | 学习者 | 一个可以用你自己的示例来调整的小模型

如何设置：

• Python，用来运行 Hugging Face 下载工具
• huggingface_hub 包
• 一个能加载 GGUF 文件的运行环境
• 为约 134 MB 的模型文件留出空间，这是 4-bit 的估计值

1. 安装 Hugging Face 的 hub 包。
2. 把仓库文件下载到你的电脑。
3. 在你的运行环境里加载 gguf 文件，并使用下面的采样设置。

pip install -U huggingface_hub
hf download unsloth/gemma-3-270m-it-GGUF

模型卡要求你使用下面这些采样设置。

temperature = 1.0, top_k = 64, top_p = 0.95, min_p = 0.0

如何使用：你在 GGUF 运行环境里加载模型，设好上面的采样值，再输入提示词。模型卡还指向一份讲如何正确运行 Gemma 3 的 Unsloth 指南。

Tool | What it does
hf download | 把模型文件下载到你的电脑
采样设置 | 上面代码块里的数值，模型卡说要使用它们
Unsloth 笔记本 | 针对这个模型尺寸的免费微调笔记本

示例：你粘贴一段话，然后问："Summarize this in two sentences." 模型会以纯文本写回一份简短的摘要。

新手与专家：如果你是新手，这个模型很小巧，适合普通硬件。下载文件，在运行环境里加载，使用上面的设置，再试着问一个简短的问题。

如果你熟悉这个领域：它是 Gemma 3 家族里经过指令微调的 270M 成员，输入上下文为 32K 个 token，已转换成 GGUF。代价是体积，因为这个家族最大到 27B。

你输入提示词
运行环境加载 GGUF 文件
模型按模型卡的设置采样
文本返回

注意事项：

Title: 各 Gemma 3 尺寸的输入上下文，单位为千 token
270M 和 1B 尺寸: 32 K token
4B、12B 和 27B 尺寸: 128 K token

• 大小：4-bit 约 134 MB，为估计值
• 家族：Google DeepMind 的 Gemma 3，支持超过 140 种语言
• License: gemma，遵循 Google 的 Gemma 条款
• Cost to run: 没有提到费用
• Data it reaches: 你给它的提示词，以及你从 Hugging Face 下载的文件
• Not for: 这里给出的模型卡文字没有列出限制，但 Gemma 使用条款适用

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：268M
• Weights: about 134 MB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：91,489
• 点赞：181
• 许可证：gemma
• 基于：google/gemma-3-270m-it
• Quantized versions: 2
• 标签：transformers, gguf, gemma3, unsloth, gemma, google, text-generation, conversational

链接

• 模型：https://huggingface.co/unsloth/gemma-3-270m-it-GGUF
• 文件：https://huggingface.co/unsloth/gemma-3-270m-it-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download unsloth/gemma-3-270m-it-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。