Qwen2-Audio-7B-GGUF

Qwen2-Audio-7B-GGUF

在本地运行 Qwen2-Audio，用语音聊天并分析音频，包括语音翻译、转写和声音检测。这是用于 Nexa-SDK 的 GGUF 副本，适合想在自己设备上用音频 AI 的人。

由 NexaAI 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Qwen2-Audio 的 GGUF 副本，Qwen2-Audio 是一个音频加文本的模型，由 NexaAI 打包，可以用 Nexa-SDK 在本地运行。它同时接收音频和文本作为输入，所以你不需要单独的语音识别步骤就能和它对话。模型卡说它支持英语、中文和主要的欧洲语言。这个模型有 7.8B 参数。

适合谁：如果你想在自己的电脑上和 AI 对话或让它分析音频，而不是把文件发给某个服务，它适合你。

行业 | 谁在用 | 怎么用 | 例子
效率办公 | 普通用户 | 用语音提问并得到回答 | 用语音问一个日常问题，阅读回复
媒体 | 剪辑师和制作人 | 转写或总结录音 | 放入一个音频文件，要求一份摘要
语言 | 翻译人员 | 翻译语音 | 播放一段音频，要求翻译
声音工作 | 音频爱好者 | 分析音乐或背景噪声 | 问一段混合录音里有什么

如果你只需要文本回答，可以跳过它，因为它围绕音频输入而设计。

用在哪里：你通过 Nexa-SDK 使用它，可以在终端里，也可以在本地的 Streamlit 界面里，系统可以是 Windows、macOS 或 Linux 电脑。

• 装好 Nexa-SDK 的终端
• 用一个参数启动的本地 Streamlit 界面
• 能腾出内存的边缘设备和笔记本

使用场景 | 谁用 | 得到什么
语音聊天 | 普通用户 | 对口头提问的回答和建议
音频分析 | 分析师 | 摘要、提取的信息和转写文本
声音检测 | 爱好者 | 对背景噪声、音乐和混合音频的描述

如何设置：你需要 Nexa-SDK，这是一个设备端推理框架，可以用 Python 包或可执行安装程序来安装。默认的 q4_K_M 版本需要 4.2 GB 内存。

• Nexa-SDK，按项目的安装选项安装
• 默认版本约需 4.2 GB 内存
• Windows、macOS 或 Linux

1. 安装 Nexa-SDK。
2. 在终端里运行这条命令。
3. 加入你的音频文件和可选的文本提示词。

nexa run qwen2audio

如何使用：在终端里，把音频文件拖进窗口，Linux 上则输入文件路径，然后加一段文本提示词来引导分析。提示词留空就是直接发送语音输入。如果想改用本地界面，就加上下面这个参数。

nexa run qwen2audio -st

Tool | What it does
nexa run qwen2audio | 在终端里以默认的 q4_K_M 版本运行模型
nexa run qwen2audio -st | 改为打开本地的 Streamlit 界面
audio file | 拖入，或在 Linux 上输入路径
text prompt | 引导分析，也可以留空

示例：你把一段录音拖进终端，输入“Summarize this audio.”模型听完这段音频，用文字回答一份摘要。如果没有提示词，它会把这段音频当作语音消息并回复它。

新手与专家：如果你刚接触，可以把它想成一个听得见的助手。第一件小事是安装 Nexa-SDK，运行默认命令，并通过一个音频文件说一个简短的问题。

如果你熟悉这个领域，模型同时接收音频和文本，前面不需要语音识别步骤。Nexa-SDK 提供 GGUF 量化版本，模型卡说直接运行的命令用的是默认的 q4_K_M 版本。其他量化版本及其内存需求列在项目页面上。

音频文件加可选的文本提示词
Nexa-SDK 加载 GGUF 模型
模型同时读取音频和文本
返回文字回答

注意事项：模型卡说 Qwen2-Audio 在它测试的各项任务上超过了之前的顶级模型和它自己的前代模型，结果以图表形式展示，这里没有复现。如果只想要原始的 GGUF 文件，Hugging Face 给出了下面这些命令。

pip install -U huggingface_hub
hf download NexaAI/Qwen2-Audio-7B-GGUF

Title: 大小，单位 GB
4-bit weights, estimate: 3.9 GB
RAM for the default version: 4.2 GB

• License: Apache-2.0
• Cost to run: 没有提到任何 API 密钥或付费服务，默认版本需要 4.2 GB 内存
• Data it reaches: 下载来自 Hugging Face，模型在你自己的设备上处理你给它的音频和文本
• Not for: 不涉及音频的工作，或可用内存不足 4.2 GB 的设备

Hugging Face 上的数据（2026年11月13日）

• 任务：audio text to text
• 参数量：7.8B
• Weights: about 3.9 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：2,522
• 点赞：177
• 许可证：apache-2.0
• 语言：en
• 标签：gguf, audio-text-to-text, chat, audio, conversational

链接

• 模型：https://huggingface.co/NexaAI/Qwen2-Audio-7B-GGUF
• 文件：https://huggingface.co/NexaAI/Qwen2-Audio-7B-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download NexaAI/Qwen2-Audio-7B-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。