Phi-4-multimodal-instruct

Phi-4-multimodal-instruct

紧凑的 56 亿参数模型，接收文字、图像和音频并用文字回复，上下文 128K token。适合想用一个小模型同时处理语音、视觉和文字的开发者。

由 microsoft 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Phi-4-multimodal-instruct 是微软的开放模型，接收文字、图像和音频作为输入，并用文字回答。它有 56 亿参数和 128K token 的上下文。它的训练加入了监督微调以及偏好和人类反馈阶段，目标是遵循指令并保持安全。

适合谁：适合想用一个紧凑模型处理文字、图片和语音的开发者，尤其是在内存或响应时间紧张的场合。

Industry | Who uses it | How they use it | Example
软件 | 应用开发者 | 给应用加入图像和语音理解 | 从收据照片中读出文字
客户服务 | 支持团队 | 转写并总结通话 | 把录下的通话变成摘要
教育 | 学习应用开发者 | 解释图像中的图表、表格和数学内容 | 根据截图一步步讲解一个方程
研究 | 多模态研究人员 | 把它作为实验的构件 | 与其他小模型对比

如果你只需要纯文本生成，可以跳过，因为纯文本模型会更轻。

用在哪里：它在 Windows、macOS 或 Linux 上通过 transformers 库用 Python 运行，微软还提供托管的试玩环境，可以先试用。

• 使用 transformers 的 Python 脚本
• Azure、GitHub、Nvidia 和 Hugging Face 上的试玩环境
• 供其他运行时使用的单独 ONNX 版本

Use case | Who | What they get back
语音识别 | 开发者 | 英语、中文等音频的文字转写
语音翻译和问答 | 应用开发者 | 根据语音输入得到的翻译或回答文字
图像和图表理解 | 分析师 | 描述、OCR 文字和关于表格的回答
工具调用 | 智能体开发者 | 根据请求选出的函数调用

如何设置：你需要 Python 和 Hugging Face 工具。Hugging Face 标注权重在 BF16 下约 11.1 GB，4 位下估计约 2.8 GB。其余内容见模型卡的完整使用部分。

• 装有 transformers 的 Python
• 约 11.1 GB 磁盘空间，用于 BF16 权重
• 为了速度舒适，最好有 GPU

1. 安装 Hugging Face 下载工具。
2. 下载模型文件，或者让 transformers 自动获取。
3. 按模型卡加载模型及其处理器。

pip install -U huggingface_hub
hf download microsoft/Phi-4-multimodal-instruct

如何使用：给模型文字、图像、音频或它们的组合，然后阅读它的文字回复。不同输入类型支持的语言不同。模型卡可见的部分没有给出运行命令，请按它自己的使用部分操作。

Tool | What it does
hf download | 把模型文件下载到你的电脑
transformers | 在 Python 中加载模型

示例：你给模型一段某人规划旅行的录音，请它给出一份简短的计划。它听完音频，用文字写出建议，这是微软展示的演示之一。

新手与专家：如果你是新手，先试试试玩环境，看看文字、图像和音频如何在同一个对话里使用。然后下载文件，按模型卡自己运行。

如果你熟悉这个领域，这是建立在 Phi-3.5 和 Phi-4 研究基础上的轻量多模态模型。文字涵盖约两打语言，视觉是英语，音频涵盖英语、中文、德语、法语、意大利语、日语、西班牙语和葡萄牙语。

文字、图像或音频输入
多模态 Phi-4 模型
对合并后的输入进行推理
文字输出

注意事项：模型卡列出了广泛的多语言和多模态用途，包括商业和研究，并特别关注算力受限和对延迟敏感的场景。

• License: MIT
• Cost to run: 本地使用没有提到 API 密钥、账号或付费服务，不过托管的试玩环境是另外的服务
• Data it reaches: 你提供的文字、图像和音频，以及从 Hugging Face 下载的文件
• Not for: 它的语言列表以外的语言，例如英语以外语言的视觉输入

Hugging Face 上的数据（2026年11月13日）

• 任务：automatic speech recognition
• 框架：transformers
• 参数量：5.6B
• Weights: about 11.1 GB in BF16; about 2.8 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：68,370
• 点赞：1,629
• 许可证：mit
• 语言：ar, zh, cs, da, nl, en, fi, fr
• Quantized versions: 12
• Fine-tunes: 56
• 标签：transformers, safetensors, phi4mm, text-generation, code, audio, automatic-speech-recognition, speech-summarization, speech-translation, visual-question-answering, phi-4-multimodal, phi-4-mini

链接

• 模型：https://huggingface.co/microsoft/Phi-4-multimodal-instruct
• 文件：https://huggingface.co/microsoft/Phi-4-multimodal-instruct/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download microsoft/Phi-4-multimodal-instruct

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。