Cola DLM

Cola DLM

一个研究用的文本生成模型，在连续潜空间中写作，把文本自编码器和扩散 Transformer 配在一起。适合想运行并测试已发布检查点的研究人员和开发者。

由 ByteDance-Seed 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Cola DLM 是一个在连续潜空间中工作的扩散语言模型。文本 VAE 把文本变成潜序列，再解码回词元，块因果扩散 Transformer 则用 Flow Matching 对这些潜变量建模。这个仓库存放的是随论文 Continuous Latent Diffusion Language Model 发布的检查点。

适合谁：它适合想研究或测试潜空间扩散式文本生成方法的研究人员和开发者。它是作为研究检查点发布的，所以要运行代码，而不是在应用里直接聊天。

Title: 谁在用
Industry | Who uses it | How they use it | Example
AI 研究 | 语言模型研究人员 | 运行已发布的检查点，并与其他设计比较 | 复现模型卡列出的零样本结果
软件 | 开发者 | 在 OpenAI 风格的接口后面提供服务 | 向本地适配器发送一个聊天请求
教育 | 生成式模型的学生 | 阅读文本 VAE 和扩散先验如何配合 | 查看仓库里的两个模块

想要成熟助手的人可以跳过它，因为模型卡上有几项基准分数很低。

用在哪里：

• 装有 PyTorch 和 Transformers 的 Python
• 通过 OpenAI 兼容适配器搭建的本地服务
• Windows、macOS 或 Linux，GPU 或 CPU 都可以

Title: 主要用途
Use case | Who | What they get back
任务提示词 | 研究人员 | 针对问题之类提示词生成的文字
本地聊天接口 | 开发者 | 适配器返回的非流式聊天补全
基准检查 | 研究人员 | 在 LAMBADA、SQuAD 等任务上的零样本准确率

如何设置：

• 你电脑上的 Python
• PyTorch 2.1 或更高版本，以及 Transformers 4.40 或更高版本
• 来自项目仓库的 Cola DLM 代码包
• huggingface_hub 包

1. 克隆 Cola DLM 代码仓库并进入它的文件夹。
2. 安装代码包和下载工具。
3. 把模型文件下载到本地文件夹。

pip install -e .
pip install huggingface_hub
huggingface-cli download ByteDance-Seed/Cola-DLM --local-dir hf_models

Hugging Face 的记录里还列出了这个简单的下载步骤。

hf download ByteDance-Seed/Cola-DLM

如何使用：加载两个模块和分词器，再用你的提示词调用任务生成函数。模型卡里的最小示例用一个脚本完成这些事。

import torch
from tokenizers import Tokenizer

from cola_dlm import (
    ColaDiTModel,
    ColaTextVAEModel,
    generate_task_repaint_inference,
)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

dit = ColaDiTModel.from_pretrained("hf_models/cola_dlm/cola_dit").to(device)
vae = ColaTextVAEModel.from_pretrained("hf_models/cola_dlm/cola_vae").to(device)
tokenizer = Tokenizer.from_file("hf_models/tokenizer.json")

prompts = [{"question": "Question: What is the capital of France? Answer:"}]
results = generate_task_repaint_inference(
    dit=dit,
    vae=vae,
    tokenizer=tokenizer,
    prompts=prompts,
    task_name="lambada",
    device=device,
    max_new_tokens=32,
    temperature=0.0,
    guidance_scale=7.0,
    timestep_num=16,
    pad_token_id=100277,
)

print(results[0]["generate"])

如果想要聊天式接口，代码发布里包含一个 openai_adapter 服务。设置下面这些环境变量，再用 uvicorn 启动它。它在这个路径上响应，只支持非流式补全。

export COLA_DIT_PATH=hf_models/cola_dlm/cola_dit
export COLA_VAE_PATH=hf_models/cola_dlm/cola_vae
export COLA_TOKENIZER_PATH=hf_models/tokenizer.json
export COLA_MODEL_NAME=cola-dlm

uvicorn openai_adapter.server:app --host 0.0.0.0 --port 8000

先在 COLA_API_KEY 里填上你自己的值。

POST /v1/chat/completions

示例：你把一个简短的事实性问题，比如关于法国首都的问题，按模型卡的问答格式放进 prompts 列表。脚本会打印模型为它生成的文字。模型卡没有给出示例输出，所以请自己查看打印结果。

新手与专家：如果你是新手，把它当作研究演示。第一次尝试可以下载文件，用一个简短的问题运行上面的最小脚本。

对于专家来说，这个设计是文本 VAE 加块因果 DiT 先验，分两个阶段训练。先预训练 VAE，再用 Flow Matching 把两部分一起训练。权重对应论文扩展曲线中的 2000 EFLOPs 检查点，分词器是有 100,278 个条目的 OLMo 2。

分词器把提示词变成词元
VAE 把文本映射为潜变量
DiT 用 Flow Matching 传输潜变量
VAE 把潜变量解码回文本

注意事项：

• Early scores: 模型卡的零样本平均分是 26.75%，MMLU 是 19.30%。
• Adapter limit: 它只支持非流式补全。
• Change the key: 示例里的 API 密钥是 change-me，分享服务之前请替换它。
• License: Apache 2.0。
• Cost to run: 来源未提及。
• Data it reaches: 它从 Hugging Face 下载文件，适配器监听本地端口。
• Not for: 需要强劲基准成绩的生产级助手。

Title: 各任务的零样本准确率
LAMBADA: 50.80 %
MMLU: 19.30 %
OBQA: 23.00 %
HellaSwag: 10.70 %
RACE: 19.60 %
SIQA: 28.90 %
SQuAD: 30.90 %
Story Cloze: 30.77 %

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• Formats: Safetensors
• 最近 30 天下载：93
• 点赞：51
• 许可证：apache-2.0
• 语言：en
• 标签：transformers, safetensors, text-generation, language-model, diffusion, latent-diffusion, flow-matching, text-vae, pytorch, research

链接

• 模型：https://huggingface.co/ByteDance-Seed/Cola-DLM
• 文件：https://huggingface.co/ByteDance-Seed/Cola-DLM/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download ByteDance-Seed/Cola-DLM

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。