Carbon-X

Carbon-X

在聊天里读取原始 DNA 并用英文回答，判断变异看起来是良性还是致病，适合想在自己 GPU 上运行 DNA 语言模型的研究人员。

由 HuggingFaceBio 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Carbon-X 是 Carbon 系列的 14.8B 语言模型，同时用 DNA 序列和英文文本训练。你把原始 DNA 粘贴到普通聊天里，它就用英文回复，并附上推理过程。它以 Qwen3-14B 为基础模型。

适合谁：如果你从事遗传学和生物学研究，处理 DNA 序列，又想在自己的硬件上运行模型，它适合你。

Title: Who uses this model
行业 | 谁在用 | 怎么用 | 例子
遗传学研究 | 变异分析人员 | 判断变化后的序列看起来无害还是与疾病相关 | 粘贴参考序列和变异序列，然后请它下结论
生物信息学 | 计算生物学家 | 把序列归入生物类群 | 问一条序列属于哪个类群
基因组学实验室 | 持有未发表数据的团队 | 把序列留在自己的服务器上 | 在实验室的一块 GPU 上运行模型

如果你不处理 DNA 序列，或者没有 GPU，可以跳过它。

用在哪里：

• 使用 transformers 库的 Python 脚本
• 有 GPU 的机器，因为示例代码把模型加载到 CUDA 上
• 单块 GPU 上的 vLLM，模型卡提到可以用它来提供服务
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

Title: Jobs it does
用途 | 适合谁 | 得到什么
变异效应 | 遗传学家 | 附带解释的良性或致病判断
基因调控区域 | 生物学家 | 被标出的、影响基因活动的区域
生物类群 | 生物信息学家 | 一条序列的类群标签
后续碱基 | 研究人员 | 对序列后续部分的预测

如何设置：你需要 Python、一块放得下权重的 GPU，以及 Transformers 5 或更高版本。

• 带 pip 的 Python
• 一块 CUDA GPU，因为示例代码会用到它
• 约 29.6 GB 的磁盘空间，用来放 BF16 权重

1. 安装或升级 transformers。
2. 也可以先用两条下载命令保存文件。
3. 运行示例脚本。加载分词器时要打开 trust_remote_code，因为 DNA 分词器是自定义代码。

pip install -U transformers

pip install -U huggingface_hub
hf download HuggingFaceBio/Carbon-X

如何使用：把你的 DNA 放进一条聊天消息，再问一个关于它的问题。示例会构造一条带参考序列和变异序列的消息，套用关闭思考的聊天模板，然后打印回复。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "HuggingFaceBio/Carbon-X"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="cuda")

messages = [
    {
        "role": "user",
        "content": (
            "Reference: ATGGTGCATCTGACTCCTGAGGAGAAGTCTGCCGTTACTGCCCTGTGGGGCAAGG\n"
            "Variant:   ATGGTGCATCTGACTCCTGTGGAGAAGTCTGCCGTTACTGCCCTGTGGGGCAAGG\n\n"
            "Is this variant likely to be benign or pathogenic? Explain your reasoning."
        ),
    }
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    enable_thinking=False,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=1024)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Title: Main calls in the sample
工具 | 作用
AutoTokenizer | 加载文本加 DNA 的混合分词器
AutoModelForCausalLM | 以 bfloat16 把模型加载到 GPU
apply_chat_template | 把你的消息变成模型的提示词，并关闭思考
generate | 写出回复，长度不超过你设置的 token 上限

示例：你粘贴一条参考序列和一条改了一个字母的副本，然后问这个变化更可能是良性还是致病，并请它说明原因。模型用英文回复，给出判断和推理过程，回复里也可以引用 DNA。

新手与专家：你可以把它看作一个既能读英文、也能读 DNA 的聊天助手。第一次小测试就是用示例脚本跑一对短序列。把答案当作研究辅助，再用你自己的数据核对。

DNA 和文本在同一个解码器里共用一条 token 流，没有单独的 DNA 编码器。混合分词器保留 Qwen3 的文本词表，并增加 5,515 个 DNA token。其中 4,096 个是 6-mer，所以一个 DNA token 覆盖 6 个碱基对。模型有 40 层，隐藏层大小 5120，使用带 8 个键值头的分组查询注意力。训练包括 302B token 的中期训练，然后是监督微调，以及用可验证奖励做的强化学习。

聊天消息里的原始 DNA
混合分词器标记并切分
同一个解码器读取 DNA 和文本
带推理的英文回答

注意事项：作者报告在关闭思考的情况下，五个 DNA 基准的平均分是 66.7%，比 Qwen3-14B 高 27 个百分点。他们估算，分析 ClinVar 里 240 万个意义未明的变异，用它大约花 300 美元，而他们测试的前沿模型要 32,000 到 400 万美元。上下文窗口为 40,960 个 token。模型卡还有一节讲如何把它当作智能体的工具。

Title: Average score on five DNA benchmarks
Carbon-X: 66.7 %
GPT-6.1 Sol: 67.5 %

• License: Apache 2.0。
• Cost to run: 未提及，除了需要一块 GPU。按模型卡所说，一块 80 GB 的 GPU 就能放下 bfloat16 权重。
• Data it reaches: 权重来自 Hugging Face，模型卡说敏感或未发表的序列可以留在你自己的基础设施上。
• Not for: 长时间的扩展推理。它是在关闭思考的情况下训练和测试的聊天模型，并且需要 Transformers 5 或更高版本。

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：14.8B
• Weights: about 29.6 GB in BF16; about 7.4 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：5,018
• 点赞：303
• 许可证：apache-2.0
• 语言：en
• 基于：Qwen/Qwen3-14B
• Quantized versions: 14
• Fine-tunes: 1
• 标签：transformers, safetensors, qwen3, text-generation, genomics, biology, variant-effect-prediction, conversational

链接

• 模型：https://huggingface.co/HuggingFaceBio/Carbon-X
• 文件：https://huggingface.co/HuggingFaceBio/Carbon-X/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download HuggingFaceBio/Carbon-X

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。