llm-jp-4.1-33b-thinking

llm-jp-4.1-33b-thinking

LLM-jp 项目推出的 33.2B 参数英日双语文本生成模型。经过 SFT 和 DPO 后训练，上下文 65,536 词元，权重采用 Apache 2.0，可通过 transformers 加载。

由 llm-jp 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：llm-jp-4.1-33b-thinking 是 LLM-jp 项目推出的 33.2B 参数文本生成模型。该项目来自国立情报学研究所的一个语言模型研究中心。它是 LLM-jp-4.1 系列中经过后训练的 33B 版本，面向英语和日语。

它分几个阶段，在 11.7T 词元上完成了预训练和中期训练。随后团队用监督微调对它做了调整，并用直接偏好优化做了对齐，没有使用强化学习。模型卡说后训练所用的数据集是公开的。

适合谁：适合想要自己托管开放的日语和英语模型的开发者和研究者，以及研究基于公开语料训练模型的团队。

Industry | Who uses it | How they use it | Example
研究 | NLP 研究者 | 研究开放的训练数据和配方 | 比较 33B 与 8B 两种规模
软件 | 应用开发者 | 托管日语和英语助手 | 能用两种语言回答的客服机器人
教育 | 语言团队 | 围绕日语文本构建工具 | 解释一段日语文章的助手
企业 | 平台团队 | 在自己的服务器上运行模型 | 不依赖外部服务的内部问答

如果你只有小显卡，因为权重很大，或者你需要英语和日语以外的语言，可以跳过它。

用在哪里：它通过 Python 里的 transformers 库加载。模型卡把你引向 LLM-jp 的 cookbook，那里有用法示例和详细步骤。

• 装有 transformers 的 Python
• 按 Hugging Face 步骤，支持 Windows、macOS 或 Linux
• 内存足够放下权重的主机
• 模型自带的分词器

Use case | Who | What they get back
聊天回答 | 应用开发者 | 英语或日语的生成文本
长提示词 | 数据团队 | 最多 65,536 词元上下文的输入
模型研究 | 研究者 | 可与其他规模对比的开放配方

如何设置：你需要 Python 和一台能放下 33B 模型的机器。模型卡页面列出 BF16 下约 66.4 GB 权重，4-bit 下约 16.6 GB，后者是估计值。

• 带 pip 和 transformers 的 Python
• BF16 权重约需 66.4 GB 磁盘空间
• 显存很大的 GPU，或其他作者提供的量化版本

1. 用 pip 安装 Hugging Face 的 hub 工具。
2. 用 hf 命令下载模型文件。
3. 按 LLM-jp 的 cookbook 用 transformers 加载模型。

pip install -U huggingface_hub
hf download llm-jp/llm-jp-4.1-33b-thinking

如何使用：用模型自带的分词器和聊天模板加载模型，发送一段对话，再读取回复。模型卡在这里没有给出代码，具体步骤请看 cookbook。

聊天模板设计成可配合 OpenAI Harmony 格式使用，但分词器不同。模型卡说不支持直接用 openai-harmony 库做分词，所以请使用模型自带的分词器。

示例：你用模型的分词器加载模型，用日语问一个问题。再用英语问同一个问题，比较两个回复。

新手与专家：如果你是新手，先读 cookbook，发送长提示词之前先试一个简短的提示词。尽早检查内存占用，因为 33B 模型很大。

如果你熟悉这个领域：这个稠密模型有 64 层、5,120 的隐藏维度、40 个注意力头和 65,536 词元的上下文。分词器是 Unigram 字节回退模型，词表转换自 llm-jp-tokenizer v4.0。

英语或日语提示词
聊天模板和模型分词器
模型生成回复
输出文本

注意事项：模型卡列出了该系列中的稠密 8B 和 33B 模型，以及一个 32B-A3B 混合专家模型。由于许可限制，部分训练语料没有公开。图表显示了页面列出的两种权重大小。

Title: 权重大小，单位 GB
BF16: 66.4 GB
4-bit estimate: 16.6 GB

• License: Apache 2.0
• Cost to run: 未提及费用，权重需要大量内存
• Data it reaches: 你发送的提示词，以及你下载的模型文件
• Not for: 英语和日语以外的语言，因为模型卡只列出这两种

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：33.2B
• Weights: about 66.4 GB in BF16; about 16.6 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：4,224
• 点赞：17
• 许可证：apache-2.0
• 语言：en, ja
• Quantized versions: 7
• Fine-tunes: 2
• 标签：transformers, safetensors, llama, text-generation, conversational

链接

• 模型：https://huggingface.co/llm-jp/llm-jp-4.1-33b-thinking
• 文件：https://huggingface.co/llm-jp/llm-jp-4.1-33b-thinking/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download llm-jp/llm-jp-4.1-33b-thinking

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。