Octen-WebGR-0.6B

Octen-WebGR-0.6B

把一条简短的搜索查询变成它最可能指向的网址，模型里自带一张含 3090 万个 URL 的表。适合想要小型自托管查找工具的开发者和研究人员。

由 Octen 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：Octen-WebGR-0.6B 把一条简短的搜索查询变成你多半想找的网址。它不去检索索引，而是由模型生成一个两个 token 的编码，再到一张含 3090 万个 URL 的表里查这个编码。索引就存放在模型的权重里。它是 Qwen3-0.6B-Base 的全参数微调版本，有 0.73B 参数，由 Octen 制作。

适合谁：如果你想要一个紧凑的模型，在自己的硬件上解析网站名称和类似的导航类查询，搜索工程师、检索研究人员和应用开发者都适合它。

Industry | Who uses it | How they use it | Example
搜索 | 搜索工程师 | 加入一个小模型，把导航类查询解析成 URL | 输入 youtube 这样的查询，返回带分数的靠前 URL
研究 | 信息检索研究人员 | 把生成式检索和稠密检索、BM25 做比较 | 多个系统在第 1 名和第 10 名的命中率
软件 | 应用开发者 | 让用户输入名称就能快速跳到某个网站 | 输入的公司名被解析成最可能的页面

如果你需要对任意页面做开放式搜索，可以跳过它。它只返回自己那张表里的 URL，很少能找到访问量低的页面。

用在哪里：

• Windows、macOS 或 Linux 上装有 Python 的终端
• CPU，模型在没有 GPU 的情况下也能运行
• GPU，需要 1.6 GiB 显存
• 你自己的 Python 代码，通过 GRCPU 类调用

Use case | Who | What they get back
解析网站名称 | 应用开发者 | 这条查询对应的最佳 URL，每个都带对数概率
给候选页面排序 | 搜索工程师 | 按两个对数概率打分的前 K 个 URL
检索基准测试 | 研究人员 | 用来和其他方法对比的命中率

如何设置：

• Python，版本按 requirements.txt 里固定的来：torch 2.8.0 和 transformers 4.57.1
• flash-attn 是可选的
• CPU 脚本约需 4.5 GiB 主机内存，GPU 脚本需要 1.6 GiB 显存

1. 下载仓库文件，里面有推理脚本和 sid_table 文件夹。
2. 在下载好的文件夹里打开终端。
3. 安装依赖。

pip install -U huggingface_hub
hf download Octen/Octen-WebGR-0.6B

然后在下载好的文件夹里运行：

pip install -r requirements.txt

如何使用：用你的查询运行其中一个推理脚本。模型卡说不要调用 model.generate()，因为分词器里没有这些标识符 token 的条目，你会得到对应不到任何 URL 的编码。

python infer_cpu.py --model Octen/Octen-WebGR-0.6B --query "youtube" "boeing internship" --threads 16
python infer_gpu.py --model Octen/Octen-WebGR-0.6B --query "youtube"

在你自己的 Python 代码里，加载 CPU 类再搜索。

from huggingface_hub import snapshot_download
import sys

root = snapshot_download("Octen/Octen-WebGR-0.6B")
sys.path.insert(0, root)
from infer_cpu import GRCPU

gr = GRCPU(root)
for url, logp, row in gr.search(["hugging face"], K=10)[0]:
    print(url, logp)

Tool | What it does
infer_cpu.py | 在 CPU 上运行查找，加上 --check 会把输出和 smoke_test.json 对比
infer_gpu.py | 参考用的 GPU 版本，会为每条束重新计算提示
sid_table | 把标识符对映射到 URL 的文件夹
GRCPU | 一个 Python 类，加载模型和 URL 表并执行搜索

示例：用 16 个线程运行 infer_cpu.py，查询 youtube 和 boeing internship。每条查询都会返回最匹配的 URL，按两个对数概率之和排序。

新手与专家：它不是聊天机器人。你给它一条简短的查询，比如网站名，它就返回带分数的网址。第一次尝试时，先下载文件，安装依赖，再用查询 youtube 运行 infer_cpu.py。

查询会先被清理并转成小写，截取到 32 个 token，然后模型生成两个标识符 token，每个都取自 65,536 个编号。20 束的束搜索只沿着表中存在的前缀走，最后把这一对编码查出 URL。另有更大的 Octen-WebGR-4B，覆盖的表大得多。这个模型用专有的点击对训练，训练数据没有公开。

查询被清理并转成小写
提示要求给出 URL
生成两个标识符 token
束搜索只在表内进行
查出这一对编码对应的 URL

注意事项：CPU 回答一条查询的中位数约为 72 毫秒，是在单个 Intel Xeon 8568Y+ 插槽上测得的。把 8 条查询合并成一批，大约每秒能给出 57 个答案。在空闲的 H200 上，参考 GPU 脚本处理一条查询用 43.5 毫秒。测试用的是 2026 年 9 月的导航类查询。

Title: 导航类测试查询的第 1 名命中
Octen-WebGR-4B: 59.6 分
训练点击表查找: 58.9 分
Octen-WebGR-0.6B: 56.5 分
稠密检索加点击先验: 46.5 分
稠密检索: 24.8 分
基于 URL 文本的 BM25: 9.1 分

• License: cc-by-nc-4.0，也就是知识共享署名非商业许可
• Cost to run: 没有提到，使用你自己的 CPU 或 GPU
• Data it reaches: 只涉及本地文件，因为它从自己的表里返回 URL
• Not for: 开放式问题、表外访问量低的页面，或调用 model.generate()

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：transformers
• 参数量：730M
• Weights: about 1.5 GB in BF16; about 365 MB at 4-bit (estimate)
• Formats: Safetensors
• 最近 30 天下载：1,458
• 点赞：58
• 许可证：cc-by-nc-4.0
• 基于：Qwen/Qwen3-0.6B-Base
• Quantized versions: 4
• 标签：transformers, safetensors, qwen3, text-generation, generative-retrieval, semantic-id, navigational-search, web-search, conversational

链接

• 模型：https://huggingface.co/Octen/Octen-WebGR-0.6B
• 文件：https://huggingface.co/Octen/Octen-WebGR-0.6B/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download Octen/Octen-WebGR-0.6B

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。