开发者 AI 技能与智能体

Maximizing Model Performance 指南

DavidAU · 工具包

指导你为本地语言模型调节采样器和参数，并给出在 LM Studio、SillyTavern、Ollama 和 Koboldcpp 里设置系统提示词、推理模型和专家数量的步骤。

Qwen3.8-27B-AWQ-INT4

cyankiwi · 工具包

cyankiwi 制作的 Qwen3.8-27B 4-bit AWQ 量化版本，一个带思考控制的 27B 视觉语言模型。权重为 21.02 GB，可在 Transformers、vLLM 或 SGLang 中加载。

cbx-indic-pii-extractor-17M

CobuildX-AI · 工具包

在印度语言和印度英语文本中找出姓名、电话号码、Aadhaar 和 PAN 等个人信息，并返回每个值的位置。这是一个 16.7M 参数、能在 CPU 上运行的模型。

Meta-Llama-3.1-8B-Instruct-GGUF

bartowski · 工具包

Meta Llama 3.1 8B Instruct 的量化 GGUF 文件，用于本地聊天，例如 Q4_K_M 为 4.92 GB，Q8_0 为 8.54 GB。由 bartowski 用重要性矩阵制作。涵盖 8 种语言，可在 LM Studio 中运行。

Molmo2-4B

allenai · 工具包

回答关于图片、视频和多张图片的问题，还能指出它找到的内容。这是 Ai2 的开源视觉语言模型，适合自己运行模型的开发者和研究者。

G4-LuneLight-31B

zerofata · 工具包

提供一个 31.3B 参数的语言模型，基于 ReadyArt 的 gemma-4-31B-it-scotoma-2，适合在自己硬件上运行模型的人。这里的模型卡文字没有说明它的用途。

khammoon

typhoon-ai · 工具包

把泰语文本切分成语素，也就是仍有意义的最小单位，使用只有 4 MB、能在 CPU 上运行的模型，适合泰语语言研究者和开发者。

Hy-MT2-30B-A3B

tencent · 工具包

腾讯推出的 30B 混合专家翻译模型，支持 33 种语言互译，并能遵循翻译指令。适合要在自己 GPU 上做大批量机器翻译的团队。

Qwen3.5-4B-Base

Qwen · 工具包

这是一个只做过预训练的视觉语言基础模型，用于微调和上下文学习实验，不用于直接聊天。适合想用小型 Qwen3.5 作起点并用 LoRA 适配的开发者。

Qwen3-14B

Qwen · 工具包

这是一个 14.8B 参数的开源模型，难题用思考模式推理，日常聊天用更快的非思考模式回答。适合想用一个模型处理逻辑、代码、智能体和 100 多种语言的开发者。

Ornith-1.5-9B

ornith-ai · 工具包

处理编程和终端任务，是一个适合单张 GPU 的 9B 稠密语言模型。适合想用小型开源模型做软件开发的开发者，另有面向手机的移动版本。

MiniCPM-V 4.6

openbmb · 工具包

能读懂单张图片、多张图片和视频并用文字回答，参数量 1.3B，适合在手机和其他边缘设备上运行。适合想要小型视觉语言模型的开发者。

Mimi

kyutai · 工具包

Kyutai 推出的神经音频编解码器，把语音压缩成紧凑的音频令牌，再解码还原。适合构建语音语言模型或文字转语音系统的研究者和开发者。

granite-speech-5.0-470m-turboctc

ibm-granite · 工具包

把七种语言的语音转成带标点和大小写的文字。这是 IBM Granite 推出的 4.7 亿参数小模型，适合在服务器、笔记本和手机上做快速转写。

gnani-evon-v3.3-30B-A3B

gnani · 工具包

用英语和十种印度语言聊天、答题和推理，上下文长度 128K。这是 Gnani.ai 的 30B 混合专家模型，适合用印度语言构建助手、RAG 和智能体的团队。

FireRedLID

FireRedTeam · 工具包

识别音频片段里说的是哪种语言，覆盖 100 多种语言和 20 多种中文方言和口音。它是 FireRedASR2S 的语种识别模块，面向语音开发者。

cbx-indic-pii-extractor-58M

CobuildX-AI · 工具包

在印度语言和印度英语文本中找出姓名、电话号码、Aadhaar 和 PAN 等个人信息，并返回每个值的位置。这是三种规格中最准确的一个，有 57.6M 参数。

RWKV7-G1 GooseOne

BlinkDL · 工具包

纯 RNN 的文本生成基础模型，用于聊天、推理和工具调用，可作为后训练和微调的起点。支持八种语言，适合开发者和研究人员。

Africa TTS

AfriSpeech · 工具包

用 92 种非洲语言和英语朗读文字，在 CPU 上比实时更快，还能用一小段音频克隆声音。适合需要非洲语言语音的开发者和研究人员。

Spark-X2.6-4B-Base

XHToken · 工具包

一个 4.1B 的语言模型，面向设备端使用，针对编码、智能体任务、长上下文和推理做了调优，支持英文和中文，并有三档思考级别。适合本地运行模型的开发者。