Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
根据一段简短的阿拉伯语情境、一个问题和可选选项,挑出最合适的答案标签。适合用 0.8B 级小模型处理阿拉伯语路由或判断任务的开发者。
Ara-JEV 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
pip install "transformers>=5.17" torch
Ara-JEV 能针对阿拉伯语文本在若干答案选项之间做决定。它的基础是 Qwen3.5-0.8B,训练时加入了 LoRA。你给它一段简短的情境、一个问题和可选的选项,它会选出最合适的答案标签。这个仓库放的是合并后的检查点,所以你不需要再加载单独的适配器。
它适合需要对阿拉伯语文本做快速、受限判断的开发者,比如选出一个选项或定一个优先级。
| Industry | Who uses it | How they use it | Example |
|---|---|---|---|
| 客户支持 | 支持工具开发者 | 给阿拉伯语写的工单评定优先级 | 为一份数据泄露报告在低、中、高之间选一个 |
| 软件 | 应用开发者 | 把请求路由到工作流的正确分支 | 就一段描述的情境回答是或否的问题 |
| 研究 | NLP 研究者 | 在阿拉伯语决策数据上研究小模型 | 在带标签的选择题上给模型打分 |
| 运营 | 工作流工程师 | 给阿拉伯语流水线加一道快速检查 | 询问某个事件是否已经发生 |
如果你需要开放式的阿拉伯语写作或通用的阿拉伯语理解,可以跳过它。
它可以在 Python 里配合 transformers 库运行,也可以作为 vLLM 服务器运行。
| Use case | Who | What they get back |
|---|---|---|
| 是或否的判断 | 开发者 | 所选的阿拉伯语选项文本 |
| 选择题和打分题 | 流水线开发者 | 所选选项的索引,从零开始计数 |
| 优先级评定 | 支持团队 | 针对一份描述的报告给出的评级索引 |
你需要带 pip 的 Python、PyTorch,以及 5.17 或更高版本的 transformers,Qwen3.5 系列模型要求这个版本。GPU 有帮助,但没有说必须。
pip install "transformers>=5.17" torch
你用状态、问题和选项列表调用模型的 predict 方法。阿拉伯语的是或否选项返回所选文本,其他列表返回所选选项的索引。
import torch
from transformers import AutoModelForImageTextToText
model_id = "AhmedReda25300/Ara-JEV"
model = AutoModelForImageTextToText.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
).eval()
result = model.predict(
state="الاجتماع يبدأ الساعة العاشرة صباحًا. دلوقتي الساعة تسعة.",
question="هل بدأ الاجتماع؟",
options=["نعم", "لا"],
)
print(result)如果要提供服务,就运行 vLLM 的 chat-completions API,并把回复限制在允许的标签内。
vllm serve AhmedReda25300/Ara-JEV \ --dtype bfloat16 \ --max-model-len 8192
| Tool | What it does |
|---|---|
| predict | 替你构建提示词并给选项打分 |
| vllm serve | 通过 chat-completions API 提供模型服务 |
| hf download | 把模型文件下载到你的电脑 |
你传入情境“会议上午十点开始,现在是九点”,问会议是否已经开始,并给出是和否两个选项。模型会返回阿拉伯语的“否”。
可以把它看作阿拉伯语情境的选择题批改器。先从上面是或否的例子开始,确认打印出来的答案合理。
这个模型是秩为 16 的 LoRA,训练了一个轮次,并合并进基础权重。报告的分数用的是在已知候选里做受限标签打分,所以衡量的是在给定标签中做选择,而不是自由生成。在 A40 上对 100 个样本做的 vLLM 测试,平均每个请求 61.3 ms。
在包含 10,419 个样本的留出测试集上,准确率因问题类型而异,是或否是薄弱环节。
根据一段简短的阿拉伯语情境、一个问题和可选选项,挑出最合适的答案标签。适合用 0.8B 级小模型处理阿拉伯语路由或判断任务的开发者。
由 AhmedReda25300 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:Ara-JEV 能针对阿拉伯语文本在若干答案选项之间做决定。它的基础是 Qwen3.5-0.8B,训练时加入了 LoRA。你给它一段简短的情境、一个问题和可选的选项,它会选出最合适的答案标签。这个仓库放的是合并后的检查点,所以你不需要再加载单独的适配器。
适合谁:它适合需要对阿拉伯语文本做快速、受限判断的开发者,比如选出一个选项或定一个优先级。
Industry | Who uses it | How they use it | Example
客户支持 | 支持工具开发者 | 给阿拉伯语写的工单评定优先级 | 为一份数据泄露报告在低、中、高之间选一个
软件 | 应用开发者 | 把请求路由到工作流的正确分支 | 就一段描述的情境回答是或否的问题
研究 | NLP 研究者 | 在阿拉伯语决策数据上研究小模型 | 在带标签的选择题上给模型打分
运营 | 工作流工程师 | 给阿拉伯语流水线加一道快速检查 | 询问某个事件是否已经发生
如果你需要开放式的阿拉伯语写作或通用的阿拉伯语理解,可以跳过它。
用在哪里:它可以在 Python 里配合 transformers 库运行,也可以作为 vLLM 服务器运行。
Use case | Who | What they get back
是或否的判断 | 开发者 | 所选的阿拉伯语选项文本
选择题和打分题 | 流水线开发者 | 所选选项的索引,从零开始计数
优先级评定 | 支持团队 | 针对一份描述的报告给出的评级索引
如何设置:你需要带 pip 的 Python、PyTorch,以及 5.17 或更高版本的 transformers,Qwen3.5 系列模型要求这个版本。GPU 有帮助,但没有说必须。
pip install "transformers>=5.17" torch
如何使用:你用状态、问题和选项列表调用模型的 predict 方法。阿拉伯语的是或否选项返回所选文本,其他列表返回所选选项的索引。
import torch
from transformers import AutoModelForImageTextToText
model_id = "AhmedReda25300/Ara-JEV"
model = AutoModelForImageTextToText.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
).eval()
result = model.predict(
state="الاجتماع يبدأ الساعة العاشرة صباحًا. دلوقتي الساعة تسعة.",
question="هل بدأ الاجتماع؟",
options=["نعم", "لا"],
)
print(result)
如果要提供服务,就运行 vLLM 的 chat-completions API,并把回复限制在允许的标签内。
vllm serve AhmedReda25300/Ara-JEV \
--dtype bfloat16 \
--max-model-len 8192
Tool | What it does
predict | 替你构建提示词并给选项打分
vllm serve | 通过 chat-completions API 提供模型服务
hf download | 把模型文件下载到你的电脑
示例:你传入情境“会议上午十点开始,现在是九点”,问会议是否已经开始,并给出是和否两个选项。模型会返回阿拉伯语的“否”。
新手与专家:可以把它看作阿拉伯语情境的选择题批改器。先从上面是或否的例子开始,确认打印出来的答案合理。
这个模型是秩为 16 的 LoRA,训练了一个轮次,并合并进基础权重。报告的分数用的是在已知候选里做受限标签打分,所以衡量的是在给定标签中做选择,而不是自由生成。在 A40 上对 100 个样本做的 vLLM 测试,平均每个请求 61.3 ms。
给出状态、问题和选项
模型给每个允许的标签打分
它选出得分最高的标签
你得到选项文本或它的索引
注意事项:在包含 10,419 个样本的留出测试集上,准确率因问题类型而异,是或否是薄弱环节。
Title: 留出测试集上各问题类型的准确率
选择题: 98.36 percent
打分题: 95.25 percent
是或否: 81.71 percent
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download AhmedReda25300/Ara-JEV
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 6 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| Ara-JEV 本页 | 1,316 | 4 | 853M | apache-2.0 | |
| Qwen3.8-9B-Distill共有 qwen3.5 · qwen3_5 · image-text-to-text | 6,592 | 237 | 9.7B | apache-2.0 | |
| Clef-Flash共有 qwen3.5 · qwen3_5 · image-text-to-text | 36,799 | 919 | 9.4B | apache-2.0 | |
| Qwen3.5-0.8B Astra Weight Edit共有 qwen3.5 · qwen3_5 · image-text-to-text | 3,029 | 27 | 873M | apache-2.0 | |
| Alpie Seed 9B共有 qwen3.5 · qwen3_5 · image-text-to-text | 741 | 26 | 9.4B | apache-2.0 | |
| Qwen3.5-9B-OptiQ-4bit共有 qwen3.5 · qwen3_5 · text-generation | 6,547 | 114 | 9B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。