分类: 未分类

一些免费的模型接口

收集了一些免费中文模型接口,全部都兼容OpenAI格式。
因为我只有文字需求,所以以下模型只支持文字,视觉或function_call请使用官方版本。

通义千问。从官方Demo转换而来。
Qwen2-72B: https://tastypear-qwen-2-minimal-chat.hf.space/api
Qwen-Max: https://tastypear-qwen-1-5-minimal-chat.hf.space/api
备注: 不需要API Key。支持角色扮演,需要引导。
智谱AI。从HF员工的演示转换而来。
GLM-4: https://tastypear-glm4-chat.hf.space/api
备注: 不需要API Key。有NSFW二次过滤。
Mixtral-Nemo 12B。由HF官方提供接口,去除了默认100 tokens的长度限制,现支持32K。
API: https://tastypear-mistral-nemo-chat.hf.space/api
备注: 自行创建HuggingFace Token作为Key使用,支持随机用Key以绕过频率限制(多Key以";"连接作为新的Key)。适合角色扮演,几乎不需要引导。
一组模型。由DuckDuckGo提供,通过duck2api转换而来。
Claude-3 Haiku: https://mikeee-duck2api.hf.space/hf
备注: 不需要API Key,也支持 gpt-4o-mini / llama-3-70b / mixtral-8x7b。
GPT系列模型,由GPT_API_free提供
项目介绍:https://github.com/chatanywhere/GPT_API_free
备注:支持GPT-4 / 4o / 4o-mini / 3.5-Turbo 等。
Gemini系列模型,由 zuisong/gemini-openai-proxy@github 项目转换
API: https://tastypear-nginx-gemini-openai-reverse-proxy.hf.space/api
备注: Google官方申请Key,已关闭审核,但仍可能被掐断。具体模型映射和Beta模型使用参考项目页。

备注:部分模型接口有 /api/hf 的路径,是因为HuggingFace Space直接以域名首页作为接口时无法调用chat,必须要带有参数。例如,以 https://xxx.hf.space/v1/chat/completions?(即加个“?”)这样的形式可以调用。由于大部分客户端只允许用户填写前半部分,后面自动拼接/v1/chat/completions,所以就无法正常调用。加一层路径可以解决此问题。

更新一个Gemini快捷交互方式

之前写了一个在 Colab 上通过 udocker 部署 zhu327/genmini-openai-proxy,最近发现还有更方便的方式。
直接将代理地址改为 https://gemini-openai-proxy.deno.dev 即可接入支持 OpenAI 的客户端。

这是利用了 zuisong/gemini-openai-proxy。上面是公共的,自己搭也很方便。在 deno.dev 新建一个 Playground,直接粘贴进去就部署完毕了,还可以更换二级域名或绑定自己的域名。

和 Colab 相比,好处自然是长期在线。这个项目还有个 CF 版本,不建议使用,因为 CF 会根据地区就近访问,可能会碰到 Google 地区限制。

如果要本地跑,首选还是 zhu327/genmini-openai-proxy。可以编译一个本地版本,UPX 可以压缩到 10M 左右,安全又便携。以下是通过 Colab 编译 Linux / Windows 版本的示例:

%cd /content
!wget -c https://go.dev/dl/go1.21.1.linux-amd64.tar.gz
!tar -xvf go1.21.1.linux-amd64.tar.gz
!chmod +x go/bin/go

!git clone https://github.com/zhu327/gemini-openai-proxy
%cd /content/gemini-openai-proxy
# compile binary for linux
!/content/go/bin/go build -o gemini main.go
# compile binary for windows
!CGO_ENABLED=0 GOOS=windows GOARCH=amd64 /content/go/bin/go build -o gemini.exe main.go

### compress with upx
# !wget https://github.com/upx/upx/releases/download/v4.2.2/upx-4.2.2-amd64_linux.tar.xz
# !tar xvf upx-*
# !chmod a+x upx-4.2.2-amd64_linux/upx
# !upx-4.2.2-amd64_linux/upx --ultra-brute ?? -o??

之所以不用客户端自带的 Gemini 模型,是因为接口默认带有审核,而客户端一般不支持设置相关参数。