Qwen3.8-27B-Longbook27-v2

Qwen3.8-27B-Longbook27-v2

用经过微调、采用 Gated DeltaNet 层的 27B 模型，对整本书长度的文字做摘要、问答和续写，支持英语和日语。适合处理长文档的人。

由 summerAIO 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Longbook27 v2 是一个 27B 语言模型，经过进一步调优，用来阅读和撰写整本书、论文和长篇报告。第 2 版在行为和输出质量上比第 1 版有所改进。它的层里包含 Gated DeltaNet 线性注意力，这种设计的代码就放在仓库里，所以加载时需要 trust_remote_code=True。它支持英语和日语。

适合谁：它适合阅读、总结或续写长文档、并且有内存足够大的 GPU 的人。

行业 | 谁在用 | 怎么用 | 例子
出版 | 编辑 | 按章节总结一份书稿 | 读取一个书籍文件并得到章节摘要
研究 | 分析人员 | 对长篇论文和报告提问 | 对照一份很长的报告核对一个说法
写作 | 作者 | 用模型继续写长篇内容 | 用同样的风格续写一份草稿

如果你没有至少 24 GB 内存的 GPU，可以跳过它，因为模型卡说不支持 CPU 卸载。

用在哪里：

• 能放下整个模型的 GPU 上的 Python 和 transformers
• bf16 用 A100 80GB 或 H100 级别的 GPU，4 比特用 24 GB 的 GPU
• 装有 Python 的 Windows、macOS 或 Linux，用来下载文件

用例 | 谁用 | 得到什么
书籍摘要 | 编辑 | 长文本的摘要，用贪心解码效果最好
长文档问答 | 研究人员 | 取自一份很长的资料的回答
续写 | 写作者 | 接着一份很长的草稿往下写的新文字

如何设置：

• Python 和一块 CUDA GPU
• transformers、accelerate 和 bitsandbytes
• 可选的更快内核，没有它们模型也能运行
• bf16 约需 54 GB 内存，4 比特 NF4 约需 17 GB

1. 安装 Hugging Face 的 hub 包并下载模型文件。
2. 安装下面代码块里的 Python 包。
3. 可选地加上更快的线性注意力内核。
4. 启用远程代码，把模型完整加载到 GPU 上。

pip install -U huggingface_hub
hf download summerAIO/Qwen3.8-27B-Longbook27-v2

pip install -U transformers accelerate bitsandbytes
# Optional: much faster linear-attention kernels
pip install flash-linear-attention
pip install causal-conv1d --no-build-isolation

如何使用：加载分词器和模型，构造一个包含你文本的聊天提示词，然后生成。模型卡的代码里模型路径用的是 summerMC 前缀，所以请使用你下载时所在的仓库。在 80 GB 的 GPU 上要用 bf16，就把 USE_4BIT 设为 False。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

model_id = "summerMC/Qwen3.8-27B-Longbook27-v2"
USE_4BIT = True  # False for bf16 on 80 GB GPUs

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)  # required

if USE_4BIT:
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        quantization_config=BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_quant_type="nf4",
            bnb_4bit_compute_dtype=torch.bfloat16,
            bnb_4bit_use_double_quant=True,
        ),
        device_map={"": 0},       # keep everything on GPU 0
        trust_remote_code=True,   # required
    )
else:
    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        torch_dtype=torch.bfloat16,
        device_map={"": 0},
        trust_remote_code=True,   # required
    )

book_text = open("book.txt", encoding="utf-8").read()
messages = [{"role": "user", "content":
    "Summarize this book chapter by chapter. Only use facts stated in the text.\n\n" + book_text}]

prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True,
    enable_thinking=False,        # True: reason before answering
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=800,
        do_sample=False,          # greedy for faithful summaries
        repetition_penalty=1.05,
        pad_token_id=tokenizer.eos_token_id,
    )

print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

工具 | 作用
trust_remote_code | 必须设为 True，因为架构以远程代码的形式提供
enable_thinking | 设为 True 可以让模型先推理，代价是更多词元
do_sample | 设为 False 会得到用于摘要和回答的贪心输出
repetition_penalty | 保持在 1.05 附近，以避免循环

示例：你把一本书存成 book.txt，让模型按章节总结，并且只用文本里的事实。用贪心解码、最多 800 个新词元，一份摘要会打印在你的终端里。请对照原文核对它。

新手与专家：这个模型是为长文本设计的，所以请给它真实的文本而不是占位符，并且让你的要求具体一些。第一次可以用 4 比特模式、关闭思考，处理一个短章节。

从底层看，Gated DeltaNet 线性注意力层和常规的注意力层混在一起，而自定义内核要求所有内容都在 GPU 上。做创意写作时，模型卡建议用温度 0.7、top-p 0.8 和 top-k 20 的采样。

放进聊天提示词里的长文本
Gated DeltaNet 混合模型
贪心或采样生成
打印摘要或回答

注意事项：

Title: 大约需要的显存
bf16: 54 GB
4-bit NF4: 17 GB

• 内存占用会随输入长度增长。
• 摘要可能加入原文里没有的细节，所以请对照原文核实。
• CPU 卸载会报 Tensor on device meta 错误而失败。
• 额外的内核包不是必需的。跳过它们时，生成会退回到普通的 PyTorch 代码，速度更慢。
• License: Apache 2.0
• Cost to run: 未提到，不过它需要一块大 GPU
• Data it reaches: 你给它的文本文件，在你自己的机器上运行
• Not for: CPU 卸载，或者不核对就相信摘要

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：27.1B
• Weights: about 54.1 GB in BF16; about 13.5 GB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,407
• 点赞：49
• 许可证：apache-2.0
• 语言：en, ja
• Quantized versions: 1
• 标签：transformers, safetensors, qwen3_5_gdn24, text-generation, long-context, summarization, conversational

链接

• 模型：https://huggingface.co/summerAIO/Qwen3.8-27B-Longbook27-v2
• 文件：https://huggingface.co/summerAIO/Qwen3.8-27B-Longbook27-v2/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download summerAIO/Qwen3.8-27B-Longbook27-v2

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。