Nanosaur2-670M
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。

Tashfeen Ahmed 的开源网关,把许多大模型服务商的免费额度汇集到同一个 OpenAI 兼容地址后面。它的设置命令能让 Claude Code、Codex、Cline、Aider 等大多数智能体指向它,Gemini CLI 则手动设置,路由器会在服务商之间自动回退。
FreeLLMAPI 是一款 GitHub 上的开源项目,属于开发类,由 Mindket 上架。可免费获取。当前为第 2 版,最近更新于 。按它的 README 从 GitHub 安装。Mindket 的设置说明可在你的 Mindket 账户获取,以 zip 压缩包下载。
curl -fsSL https://freellmapi.co/install.sh | bash
用在哪里里还有 8 个
FreeLLMAPI 是一个由你自己运行的网关。它把许多大模型服务商的免费额度汇集到同一个 OpenAI 兼容地址后面。你填入自己的服务商密钥,让工具指向这个网关,路由器会为每次请求挑一个模型。README 说,一家服务商被限流时,路由器会转到下一家。它还按密钥统计用量,让你不超出各家免费额度的上限,并且把你的密钥加密保存。除了 OpenAI 格式,网关也能用 Anthropic 的 Messages 格式和 Gemini 的原生格式应答,它还能充当 MCP 服务器(新安装默认关闭,需在 Keys 页面的 Agent compatibility 里打开)。制作方说,它用于个人试验和学习,不用于生产环境。
想不花钱试用很多模型的开发者、学生和爱折腾的人,他们本来就在用 OpenAI 兼容的工具、编程智能体或 SDK。它从设计上就是单用户,适合一个人在一台机器上,或在可信的网络里使用。
| 行业 | 谁在用 | 怎么用 | 例子 |
|---|---|---|---|
| 软件开发 | 开发者和学生 | 让 OpenAI SDK 或编程智能体指向同一个地址,由路由器挑免费模型 | 一位开发者把 base URL 设成 http://localhost:3001/v1,模型设成 auto。 |
| 编程智能体 | 使用 Claude Code、Codex、Cline、Aider 等工具的人 | 运行生成器命令,为每个智能体写好配置 | 一位用户先用 dry run 运行 npx freellmapi setup-claude,再正式运行。 |
| 家庭实验室 | 自己架设服务的人 | 在闲置电脑或树莓派上运行 Docker 镜像 | 一位爱好者用 HOST_BIND=0.0.0.0 启动容器,从局域网里的另一台设备打开控制台。 |
| 本地模型 | 运行 Ollama、LM Studio、llama.cpp 或 vLLM 的人 | 把本地服务器作为自定义服务商,加在免费额度旁边 | 有人把本地的 Ollama 端点加成自定义服务商。 |
如果你需要生产级的可靠性,或者要让整个团队共用一个网关,就别用它。文档称它是单用户的,叫你别把它暴露到互联网上,也不提供 SLA。
文档为下面每一项都给了配置路径。
网关本身可以运行在 Docker 里、桌面应用里(有 macOS 和 Windows 安装包)、源码目录里,或者 Android 的 Termux 里。
点“获取”会把一个装有 Mindket 安装说明的 zip 压缩包存进你的下载文件夹,里面按制作方的文档列出了每条路线和每个智能体的步骤。主要途径是一行安装命令,需要 Docker。在 Windows 上,安装指南称 Releases 里的桌面安装包是最简单的路径。
| 需要 | 说明 |
|---|---|
| Docker | 一行安装命令和 Docker Compose 都要用。Compose 生成密钥那一行还要 OpenSSL |
| 服务商密钥 | 每家想用的服务商各一个,加在控制台的 Keys 页面,或用 npx freellmapi keys add 添加。这条命令对不需要密钥的服务商会跳过密钥提示 |
| Node.js | 源码目录路线要 20 或更高版本。freellmapi 命令行工具要求 20.18 或更高版本,它的 npm 条目写的是 >=20.18.0 <25.0.0 |
| 编程智能体或 SDK | 任何能使用 OpenAI 兼容地址的工具 |
| Termux | 只有 Android 才需要:F-Droid 版 Termux、Android 7 或更高版本、Node.js 22.13 或更高版本 |
~/freellmapi,生成加密密钥,拉取镜像并启动容器。curl -fsSL https://freellmapi.co/install.sh | bash
README 附了脚本的链接,你可以先读完再交给 bash 执行。重复运行是安全的,因为你的 .env 和它的加密密钥都会保留。对 Claude Code,客户端页面先给了 dry run,再给了正式命令。
export FREELLMAPI_API_KEY=<unified-key> # or pass --api-key on each command npx freellmapi setup-claude --url http://localhost:3001 --dry-run npx freellmapi setup-claude --url http://localhost:3001
Docker Compose、源码目录、桌面应用和 Termux,工具包里各有自己的说明。
像用任何 OpenAI 地址一样用这个网关。把基础地址设成 http://localhost:3001/v1,密钥设成你的统一密钥。模型名决定这次请求怎么路由。桌面应用默认在 http://127.0.0.1:31415 上提供服务,端口被占用时会顺延到下一个端口。它的托盘弹窗能复制地址和密钥,所以桌面应用的用户要用这个地址代替 localhost:3001。
| 模型名 | 路由器的做法 |
|---|---|
| auto | 沿用你当前启用的回退链 |
| auto:smart | 优先选智能程度最高的模型 |
| auto:fast | 优先选实测速度最快的 |
| auto:reliable | 优先选近期成功率高的 |
| auto:balanced | 默认的综合方案 |
| auto:<profile> | 走某个命名配置的回退链 |
| fusion | 让一组免费模型各答一遍,再由一个评审模型写出一份答案 |
| 某个模型 id | 把请求发给这个模型 |
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:3001/v1",
api_key="<unified-key>",
)
resp = client.chat.completions.create(
model="auto", # let the router pick; or "auto:fast", "auto:smart", a profile, or a model id
messages=[{"role": "user", "content": "Summarise the fall of Rome in one sentence."}],
)
print(resp.choices[0].message.content)
print("Routed via:", resp.headers.get("x-routed-via"))每个响应都带有 X-Routed-Via 响应头,写明由哪家服务商的哪个模型回答。请求中途换过服务商时,X-Fallback-Attempts 和 X-Fallback-Trail 会写出每一次失败的环节和原因。API 参考给出的格式如下:
X-Fallback-Attempts: 2 X-Fallback-Trail: groq/llama-3.3-70b key1=rate_limited; google/gemini-2.5-flash key2=timeout
控制台里还有一个 Playground。它把一条聊天发给路由器,并在消息上显示服务商、模型 id 和延迟。
你在用 Claude Code,想试试在它背后接免费模型。你先用 dry run 运行生成器,再正式运行。文档说,它会先备份已有的配置,再合并进去,所以你的其他设置还在。
export FREELLMAPI_API_KEY=<unified-key> # or pass --api-key on each command npx freellmapi setup-claude --url http://localhost:3001 --dry-run npx freellmapi setup-claude --url http://localhost:3001
Claude Code 用的是服务器根地址,因为它会自己加上 Messages 路径。在 Keys 页面的 Anthropic 标签里,你把它的每个模型系列路由到 auto,或路由到你指定的模型。文档列出四个系列:default、opus、sonnet 和 haiku。第一个模型被限流时,路由器会让那把密钥冷却,改试回退链里的下一个模型,智能体就能接着干活。
新手:很多 AI 服务商会提供少量免费额度,让开发者试用它们的模型。每家都有自己的注册流程、自己的密钥和自己的限制。FreeLLMAPI 把这些密钥收在一处,给你的工具一个统一的地址,所以一家的额度用完时,你不用改设置。统一密钥就是你的工具访问网关用的那把密钥。先装桌面应用或运行 Docker 那一行,加一个服务商密钥,再到控制台的 Playground 里发一条测试消息。
专家:架构页说,路由器用 Thompson 采样的多臂老虎机算法,给可靠性、速度、能力和余量打分。它用持久化的账本执行每把密钥的请求和 token 计数限制,最多在一个时间预算内尝试 20 次来回退。对话会在同一个模型上停留 30 分钟。一个可选开启的交接说明,会在对话中途换模型时告诉新模型它是在接手。
FREELLMAPI_CONTEXT_HANDOFF=on_model_switch
提示词压缩和响应缓存同样是可选开启的。嵌入向量按模型系列路由,从不回退到别的模型,因为不同模型的向量不能混用。一把服务商密钥可以设置每月的请求数和 token 数上限,在每月 1 日 UTC 00:00 重置。文档称这是用量护栏,不是精确的计费上限。
FreeLLMAPI 运行在你自己的机器上,有几条路径会连到外面。
这个工具包里只有安装说明,由 Mindket 编写。FreeLLMAPI 本身、它的 freellmapi 命令行工具和桌面应用,要从 Tashfeen Ahmed 的仓库获取:https://github.com/tashfeenahmed/freellmapi
这些说明不是制作方写的,也没有得到制作方的认可。README 把 FreeLLMAPI 描述为“Aggregate free tiers from dozens of providers, plus custom OpenAI-compatible chat, embedding, image, and audio endpoints, behind a single /v1 API.”,意思是:把几十家服务商的免费额度,加上自定义的 OpenAI 兼容聊天、嵌入、图像和音频端点,汇集到同一个 /v1 API 后面。文档索引在 https://github.com/tashfeenahmed/freellmapi/blob/main/docs/en/README.md
许可证:MIT。LICENSE 文件(https://github.com/tashfeenahmed/freellmapi/blob/main/LICENSE)写的是“MIT License”和“Copyright (c) 2026 Tashfeen Ahmed”。
README 的免责声明写道:“This project is for personal experimentation and learning, not production.”,意思是这个项目用于个人试验和学习,不用于生产环境。声明还说,你和每家上游服务商的关系,由你注册账号时接受的条款约束,流量经过 FreeLLMAPI 转发时,这些条款依然有效。
文档称它从设计上就是本地优先、单用户。来源:https://github.com/tashfeenahmed/freellmapi/blob/main/docs/en/architecture/00-high-level-index.md
文档把你的密钥占位符写成 freellmapi-your-unified-key,这些说明里写成 <unified-key>。
FreeLLMAPI 是一个网关,运行在你自己的电脑或服务器上。可以用下面几种方式安装:
ghcr.io/tashfeenahmed/freellmapi。你的编程智能体需要另外指向它。freellmapi npm 包是一个命令行工具,能替你写好大多数智能体的配置。Cursor 和 setup-generic 只会打印指南或配置块,Gemini CLI 和 QwenPaw 要手动设置。它用 npx 运行,不需要单独安装。来源:https://github.com/tashfeenahmed/freellmapi/blob/main/README.md 和 https://github.com/tashfeenahmed/freellmapi/blob/main/cli/README.md
freellmapi 命令行工具要求 Node.js 20.18 或更高,它的 npm 条目(https://registry.npmjs.org/freellmapi/latest)在 engines 字段里写的是 >=20.18.0 <25.0.0。需要 Docker。README 说这一行会建立 ~/freellmapi,生成加密密钥,拉取镜像并启动容器。
curl -fsSL https://freellmapi.co/install.sh | bash
README 还说,你可以先在 https://freellmapi.co/install.sh 读一遍脚本,而且重复运行是安全的。然后打开 http://localhost:3001。服务器安装的控制台有邮箱和密码账号,先建立或登录。再在 Keys 页面添加服务商密钥,并从 Keys 页面顶部复制统一 API 密钥。你的智能体和 SDK 用的就是这把统一密钥。来源:https://github.com/tashfeenahmed/freellmapi/blob/main/README.md
/v1beta 接口使用 Gemini CLI一行命令安装的更新方法:重新运行那行安装命令,它会保留你的 .env,并把容器更新到 :latest。Docker Compose 的话,在放 compose 文件的文件夹里运行:
docker compose pull && docker compose up -d
卸载的话,安装指南里的命令收在 setup/docker.md 中。卸载应用不会删除你的数据目录,删除它是单独的一步。来源:https://github.com/tashfeenahmed/freellmapi/blob/main/docs/en/install/01-install.md
README 说,你的服务商密钥保存在你自己的 SQLite 数据库里,静态加密,请求从你的机器发往你启用的上游服务商。它还说,路由器每天两次从 freellmapi.co 拉取带签名的模型目录,并用内置的 Ed25519 公钥验证,目录服务器看不到你的提示词、回复内容或服务商密钥。来源:https://github.com/tashfeenahmed/freellmapi/blob/main/README.md
README 提到 freellmapi.co 上有付费的 Premium 选项,可以让目录保持实时更新。路由器本身仍然采用 MIT 许可,免费使用。免费安装收到的是目录的月度快照:一个模型在进入实时更新 30 天后才会出现在快照里。价格见 freellmapi.co,这里不引用。
架构页有一份对 13 家服务商服务条款的审查,2026 年 5 月复审,6 月又新增了部分条目,每家各有一个结论。它给的经验法则是:每家服务商一个账号,不转售,不把你的端点分享给其他人,不要把免费额度当作付费的生产后端去猛刷。它说这份审查只供参考,不构成法律意见。来源:https://github.com/tashfeenahmed/freellmapi/blob/main/docs/en/architecture/00-high-level-index.md
README.md 7 KB setup/android-termux.md 3 KB setup/claude-code.md 4 KB setup/codex.md 2 KB setup/cursor.md 2 KB setup/desktop-app.md 4 KB setup/docker.md 5 KB setup/from-source.md 3 KB setup/gemini-cli.md 2 KB setup/mcp-and-chatgpt.md 4 KB setup/openai-sdk.md 4 KB setup/other-agents.md 8 KB
Updated by Mindket to the current version of this kit.
Hacker News、Bluesky、X、Reddit、Facebook 和 YouTube 上提到这个项目的帖子和评论,来自每周一次的搜索和 Trendshift。它们不是 Mindket 写的,也未经核实,点开即可在原帖处阅读。
well9472 · 工具包
用一个 670M 参数的小型扩散模型,根据文字提示生成插画,在 ComfyUI 中运行。这是一个低预算的研究模型,适合想试用或训练自己 LoRA 的人。
Waqf-AI · 工具包
读取图片中的阿拉伯语手写文字并以文本形式返回。这是微调过的 PaddleOCR-VL 模型,适合要把阿拉伯语手写内容数字化的人。
Wan-AI · 工具包
根据文本提示或图像加文字生成视频片段,最高 720P、每秒 24 帧,Diffusers 格式,适合单块消费级 GPU。
Wan-AI · 工具包
根据音频生成电影感的角色视频,也能给现有视频做口型同步。适合有大显卡的视频创作者、动画师和研究人员。
Wan-AI · 工具包
通过复制表演者的动作和表情,让角色动起来,或把角色换进视频里,是 Wan2.2 视频系列中的一个模型。只能使用你有权使用的面孔和形象。
vllm-sr · 工具包
在一次调用中回答关于文字、图片或视频的选择、是非、打分、框选和跟踪类问题,并为每个答案给出概率。适合构建路由或视觉检查的人。