Bonsai-27B-GGUF
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
在多智能体运行展开时进行审计,标出最早的决定性错误,并指出出错的步骤、智能体和简短原因。适合构建和调试智能体团队的开发者。
AgentForesight-7B 是一款工具包,属于开发类,由 Mindket 上架。可免费获取。当前为第 1 版,最近更新于 。在本页下载,是一个装着它全部文件的 zip 压缩包。这些文件不会自己运行。
cd AgentForesight
pip install -r requirements.txt accelerate
python -c "from huggingface_hub import snapshot_download; snapshot_download('ZBox008003/AFTraj', repo_type='dataset', local_dir='data/AFTraj')"AgentForesight-7B 会随着多智能体系统的执行轨迹不断增长而持续观察,并判断是让它继续,还是发出警报。警报会指出最早的决定性错误、出错的步骤、负责的智能体和一句简短原因。它基于 Qwen2.5-7B-Instruct,经过两个偏好与策略优化阶段训练而成。
适合同时运行多个智能体、想抓住第一个出错点的开发者,也适合研究智能体系统失败原因的研究人员。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件 | 智能体框架开发者 | 检查运行的每个前缀,找出第一个决定性错误 | 一个会标出第 4 步及其责任智能体的审计器 |
| AI 质量 | 评测工程师 | 批量给运行打分,并查看每条轨迹的结果 | 一批已记录运行的结果文件 |
| 研究 | 多智能体研究者 | 在 AFTraj-2K 数据集上研究早期失败预测 | 用宏领域选项跑论文划分 |
如果你只运行单个智能体,或只需要通用聊天模型,可以跳过它,因为这个模型是为审计智能体轨迹而训练的。
它通过作者 GitHub 仓库里的运行器,在装有 Python 的 Windows、macOS 或 Linux 命令行中运行。
| 使用场景 | 谁用 | 得到什么 |
|---|---|---|
| 在线审计 | 智能体开发者 | SAFE,或第一个出错步骤及其智能体和原因 |
| 批量评测 | 评测工程师 | 两个文件里的每条轨迹预测和汇总指标 |
| 复现论文 | 研究人员 | 论文划分上的结果 |
你需要装有 pip 的 Python、git,以及足够的磁盘空间放权重,BF16 约 15.2 GB。
cd AgentForesight
pip install -r requirements.txt accelerate
python -c "from huggingface_hub import snapshot_download; snapshot_download('ZBox008003/AFTraj', repo_type='dataset', local_dir='data/AFTraj')"运行推理运行器。它会按顺序把轨迹的每个前缀交给模型,并把每条轨迹的预测和汇总指标写入文件。去掉单条轨迹的限制,就能处理更多轨迹。
python -m inference.infer_local \ --model-path ZBox008003/AgentForesight-7B \ --data-dir data/AFTraj \ --output-dir outputs/agentforesight \ --max-trajs 1
| 工具 | 作用 |
|---|---|
| python -m inference.infer_local | 对轨迹运行审计器 |
| --max-trajs 1 | 只处理一条轨迹,去掉它就处理更多 |
| --paper-test-split --macro-domain | 评测论文划分 |
| per_sample.jsonl | 保存每条轨迹的预测 |
| results.json | 保存汇总指标 |
在 AFTraj 数据的一条轨迹上运行上面的命令。模型在没发现决定性错误时回答 SAFE。一旦发现,你会得到最早的出错步骤、造成错误的智能体和一句简短原因,这些内容会写入两个输出文件。
把它想成站在一队 AI 智能体身后看日志的审阅者。它一步一步读日志,要么说一切正常,要么指出第一个让任务失败的步骤。第一个小尝试,就是上面那条只处理一条轨迹的命令。
对熟悉这个领域的人来说,检查点来自 Qwen2.5-7B-Instruct,先用边界对偏好优化训练,再用组相对策略优化训练。审计是在线的,所以模型只能看到每一步之前的前缀,必须在继续和标记之间做决定。这比运行结束后再下结论更适合实时监控,代价是模型要在更少的上下文下判断。
权重、代码和数据集的许可证各不相同,模型检查点还附带了分词器和聊天模板。
在多智能体运行展开时进行审计,标出最早的决定性错误,并指出出错的步骤、智能体和简短原因。适合构建和调试智能体团队的开发者。
由 ZBox008003 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的,模型自己的文件和许可证在 Hugging Face 上。
它是什么:AgentForesight-7B 会随着多智能体系统的执行轨迹不断增长而持续观察,并判断是让它继续,还是发出警报。警报会指出最早的决定性错误、出错的步骤、负责的智能体和一句简短原因。它基于 Qwen2.5-7B-Instruct,经过两个偏好与策略优化阶段训练而成。
适合谁:适合同时运行多个智能体、想抓住第一个出错点的开发者,也适合研究智能体系统失败原因的研究人员。
行业 | 谁在用 | 怎么用 | 例子
软件 | 智能体框架开发者 | 检查运行的每个前缀,找出第一个决定性错误 | 一个会标出第 4 步及其责任智能体的审计器
AI 质量 | 评测工程师 | 批量给运行打分,并查看每条轨迹的结果 | 一批已记录运行的结果文件
研究 | 多智能体研究者 | 在 AFTraj-2K 数据集上研究早期失败预测 | 用宏领域选项跑论文划分
如果你只运行单个智能体,或只需要通用聊天模型,可以跳过它,因为这个模型是为审计智能体轨迹而训练的。
用在哪里:它通过作者 GitHub 仓库里的运行器,在装有 Python 的 Windows、macOS 或 Linux 命令行中运行。
使用场景 | 谁用 | 得到什么
在线审计 | 智能体开发者 | SAFE,或第一个出错步骤及其智能体和原因
批量评测 | 评测工程师 | 两个文件里的每条轨迹预测和汇总指标
复现论文 | 研究人员 | 论文划分上的结果
如何设置:你需要装有 pip 的 Python、git,以及足够的磁盘空间放权重,BF16 约 15.2 GB。
cd AgentForesight
pip install -r requirements.txt accelerate
python -c "from huggingface_hub import snapshot_download; snapshot_download('ZBox008003/AFTraj', repo_type='dataset', local_dir='data/AFTraj')"
如何使用:运行推理运行器。它会按顺序把轨迹的每个前缀交给模型,并把每条轨迹的预测和汇总指标写入文件。去掉单条轨迹的限制,就能处理更多轨迹。
python -m inference.infer_local \
--model-path ZBox008003/AgentForesight-7B \
--data-dir data/AFTraj \
--output-dir outputs/agentforesight \
--max-trajs 1
工具 | 作用
python -m inference.infer_local | 对轨迹运行审计器
--max-trajs 1 | 只处理一条轨迹,去掉它就处理更多
--paper-test-split --macro-domain | 评测论文划分
per_sample.jsonl | 保存每条轨迹的预测
results.json | 保存汇总指标
示例:在 AFTraj 数据的一条轨迹上运行上面的命令。模型在没发现决定性错误时回答 SAFE。一旦发现,你会得到最早的出错步骤、造成错误的智能体和一句简短原因,这些内容会写入两个输出文件。
新手与专家:把它想成站在一队 AI 智能体身后看日志的审阅者。它一步一步读日志,要么说一切正常,要么指出第一个让任务失败的步骤。第一个小尝试,就是上面那条只处理一条轨迹的命令。
对熟悉这个领域的人来说,检查点来自 Qwen2.5-7B-Instruct,先用边界对偏好优化训练,再用组相对策略优化训练。审计是在线的,所以模型只能看到每一步之前的前缀,必须在继续和标记之间做决定。这比运行结束后再下结论更适合实时监控,代价是模型要在更少的上下文下判断。
把已记录的轨迹交给运行器
运行器每次给模型一个前缀
模型回答 SAFE 或标出一个步骤
标记带有智能体和简短原因
结果写入输出文件夹里的两个文件
注意事项:权重、代码和数据集的许可证各不相同,模型检查点还附带了分词器和聊天模板。
用 Hugging Face 的命令行下载它的文件:
pip install -U huggingface_hub
hf download ZBox008003/AgentForesight-7B
然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。
README.md 7 KB
同一分类里与本产品共有标签最多的已上架 Hugging Face 模型。
| 产品 | 最近 30 天下载 | 点赞 | 参数量 | 许可证 | 最近更新 |
|---|---|---|---|---|---|
| AgentForesight-7B 本页 | 663 | 3 | 7.6B | apache-2.0 | |
| Qwen2.5-7B-Instruct共有 qwen2 · text-generation · conversational | 6,364,238 | 2,494 | 7.6B | apache-2.0 | |
| Qwen2.5-1.5B-Instruct共有 qwen2 · text-generation · conversational | 5,181,515 | 941 | 1.5B | apache-2.0 | |
| Qwen2.5-0.5B-Instruct共有 qwen2 · text-generation · conversational | 4,292,272 | 743 | 494M | apache-2.0 | |
| Qwen2.5-Coder-14B-Instruct共有 qwen2 · text-generation · conversational | 1,860,327 | 214 | 14.8B | apache-2.0 | |
| Qwen2.5-7B-Instruct-AWQ共有 qwen2 · text-generation · conversational | 1,578,054 | 63 | 7.6B | apache-2.0 |
lmstudio-community · 工具包
面向 LM Studio 的 27B Bonsai 模型 GGUF 转换版,含 3.80 GB 的 Q1_0 语言文件和 0.93 GB 的 BF16 视觉投影器。已测试文本、视觉和并行工具调用。
LibertAIDAI · 工具包
以每权重 2.9 位的 EXL3 量化运行 DeepSeek-V4.1-Flash-1017,这是一份 196 GiB 的副本,适合在自己硬件上部署大模型的人。困惑度与原模型相差不大。
facebook · 工具包
根据文字描述或音频提示生成短音乐片段,是 facebook MusicGen 的 small 检查点。适合想在自己电脑上试用文字生成音乐的开发者和音乐爱好者。
alpindale · 工具包
用一个只有约 984 个权重的小型神经网络,为 C 源代码的每个字符打上语法高亮标签,通过一个小小的 C 程序运行。适合对手工设计的网络好奇的开发者和研究者。
prithivMLmods · 工具包
在浏览器或你自己的电脑上,用一个 Gradio 应用试用 FLUX.2 Klein 图像模型的一组 LoRA。适合制作或测试 AI 图片的人。
Sokheng · 工具包
这个模型从文档、收据和路牌照片里读取高棉语和英语文字,用一个检测器找文本行,再用识别器读每一行。适合需要在 Python 里做高棉语 OCR 的开发者。