Ripple-65B-Preview-GGUF

Ripple-65B-Preview-GGUF

65B 智能体编程模型 Ripple Preview 的 GGUF 量化文件，用 llama.cpp 在本地运行，适合在自己硬件上运行大型开源模型的人。

由 AtomicChat 在 Hugging Face 上制作。这些说明是 Mindket 根据它的模型页面和模型卡写的，模型自己的文件和许可证在 Hugging Face 上。

简介

它是什么：这个仓库放的是 Ripple-65B Preview 的 GGUF 文件。Ripple-65B Preview 是 Ricursive Intelligence 从零开始用 12T token 训练、并针对智能体编程做过后训练的 65B 稠密模型。Atomic Chat 用原始 BF16 权重做出这些文件，并为它写了 llama.cpp 支持。文件从完全一致的 BF16 副本，一直到小型量化文件。

适合谁：它适合有大显存 GPU 机器或高内存 Mac、想在本地运行编程模型的开发者和爱好者。

Industry | Who uses it | How they use it | Example
软件 | 开发者 | 在自己的机器上运行编程模型 | 选一个能装进 64 GB Mac 的文件
人工智能研究 | 量化研究人员 | 用 KL 散度对比文件布局 | 并排阅读 KLD 和相同首选 token 两列
本地 AI | 有大显卡的爱好者 | 让文件匹配自己的内存 | 在 36-48 GB 的配置上选 AD-IQ3_S
注重隐私的团队 | 工程负责人 | 把代码和提示词留在自己硬件上 | 在本地应用里离线运行模型

如果你的机器内存不到约 24 GB，可以跳过它。

用在哪里：

• llama.cpp b12167 或更新的版本，可用发布版或从源码构建
• LM Studio 和 Ollama，等它们自带的 llama.cpp 升到 b12167 或更新之后
• Atomic Chat，同一团队做的应用，在本地离线运行开放权重模型
• Windows、macOS 或 Linux，内存要够你选的文件

Use case | Who | What they get back
本地智能体编程 | 开发者 | 在你自己硬件上回答的 65B 编程模型
选择量化文件 | 本地 AI 用户 | 一个匹配你内存的文件，从 18.5 GB 到 129.6 GB
质量对比 | 研究人员 | 相对 BF16 原版测得的 KLD 和 token 一致率

如何设置：

你需要先准备：

• llama.cpp b12167 或更新的版本，不需要打补丁
• Python，用来运行 Hugging Face 下载命令
• 与你所选文件相符的内存和磁盘，见下面的图表

1. 从表里选一个文件，因为仓库里放着全部文件，大小差别很大。
2. 安装 Hugging Face hub 工具并下载文件。
3. 如果是拆分文件，让 llama.cpp 指向第一部分。

pip install -U huggingface_hub
hf download AtomicChat/Ripple-65B-Preview-GGUF

如何使用：在 llama.cpp 里，或在自带足够新 llama.cpp 的应用里，加载你选的文件。质量数据是用 Ripple 自己的聊天模板测的，所以聊天时也请用这个模板。

Title: 部分文件的大小和适用硬件
File | GB on disk | Suggested hardware | Same top token
BF16 | 129.6 | 原始权重，共 3 部分 | 100%
Q8_0 | 68.8 | 128 GB Mac 和 DGX Spark | 99.0%
AD-Q4_K_M | 40.4 | 48 GB，比如两块 24 GB GPU | 95.9%
AD-IQ3_S | 32.4 | 36-48 GB | 93.4%
AD-IQ2_XXS | 20.0 | 24 GB，比如 RTX 3090 或 4090 | 80.8%
AD-IQ1_M | 18.5 | 仅供研究 | 76.8%

示例：你有一台 64 GB 的 Mac，选了磁盘占 47.9 GB 的 AD-Q5_K_M。你在 llama.cpp 里加载它，让模型审查一个函数。按表格，它有 97.3% 的时候和 BF16 原版选同一个首选 token。

新手与专家：GGUF 是在自己电脑上运行模型的文件格式，这个仓库提供同一个模型的多种大小。第一步可以选内存允许的最大文件，再在 llama.cpp 聊天里试一试。

AD 文件使用逐张量的布局，以及在 BF16 权重上用 4.7M token 校准集算出的重要性矩阵。质量用平均 KL 散度和文件选中 BF16 模型首选 token 的频率来衡量。在与普通 Q4_K_M 相同的大小下，AD-IQ4_XS 的平均 KLD 低 2.5x，为 0.0149，对比 0.0380。

选一个适合你内存的文件
用 hub 工具下载
在 llama.cpp b12167 或更新版本里加载
用 Ripple 的聊天模板聊天

注意事项：文件大小随精度快速增长，所以最大的文件需要服务器级别的内存。

Title: 磁盘上的文件大小，单位 GB
BF16: 129.6 GB
Q8_0: 68.8 GB
AD-Q6_K: 57.7 GB
AD-Q5_K_M: 47.9 GB
AD-Q4_K_M: 40.4 GB
AD-IQ3_S: 32.4 GB
AD-IQ2_XXS: 20.0 GB
AD-IQ1_M: 18.5 GB

• 上下文: 建议的硬件只给中等长度的上下文留了空间，长上下文的 KV 缓存需要更多内存
• 速度: 一次运行中，普通 Q4_K_M 在一块 GH200 96 GB 上处理提示词 309 tokens/s，生成 40.6 tokens/s
• 研究文件: AD-IQ1_M 用于研究，因为它只有 76.8% 的时候和原版选同一个 token
• License: Apache 2.0
• Cost to run: 未提及，硬件由你自己提供
• Data it reaches: 你加载的模型文件，因为模型在本地运行

Hugging Face 上的数据（2026年11月13日）

• 任务：text generation
• 框架：gguf
• 参数量：64.8B
• Weights: about 32.4 GB at 4-bit (estimate)
• Formats: GGUF
• 最近 30 天下载：100,818
• 点赞：53
• 许可证：apache-2.0
• 基于：ricursiveAI/Ripple-65B-Preview
• 标签：gguf, llama.cpp, ripple, ricursiveai, quantized, conversational, agentic-coding, atomic-chat, text-generation, imatrix

链接

• 模型：https://huggingface.co/AtomicChat/Ripple-65B-Preview-GGUF
• 文件：https://huggingface.co/AtomicChat/Ripple-65B-Preview-GGUF/tree/main

获取模型

用 Hugging Face 的命令行下载它的文件：

pip install -U huggingface_hub
hf download AtomicChat/Ripple-65B-Preview-GGUF

然后按它的模型卡使用它。这个工具包里没有会自己运行的东西。