Huggingface行了又不太行
最近一段时间,Huggingface做了一点改动。
Space归类
在Space页面,按Space功能加了一行Icon。因为搜索很烂,所以官方归类一下还是不错的。从靠前的Space可以看到比较不错的项目和模型,或者说就是现阶段最好的模型。我试了下靠前的Background Removal项目,就挺好用。
模型接口变化
Huggingface大概在一个月前,接入了其他模型供应商。官方自己的接口一直都很烂,不但容易掉线,非热门模型撤得也快,基本只能当玩具。接入第三方后,自然稳定很多。
但是,配额暴降。之前是FREE账户限制模型范围,PRO账户有20K/M的调用次数。现在缩水到FREE账户$0.1/M,RPO账户$2/M。
我测试了一下,在模型页面右侧的使用Demo也会扣配额。Huggingface没有说具体的计算方式,如果是按调用次数,等于PRO用户砍了九成配额。
当然了,也有办法增加配额,我只能说懂的都懂。
更正:Huggingface是按各个服务商的定价按原价转发。
具体的供应商列表在源码的PROVIDER_T
里,相应的接口(LLM):`
https://router.huggingface.co/{:PROVIDER}/v1/chat/completions
。
有意思的是,如果是走第三方供应商,一些Huggingface上不存在的模型也是可以调用的。但不是所有接口都可以,Huggingface对每个供应商只实现了部分接口,具体可以看源码中的定义。
修了一个Bug
Space原本是不支持/v1
路径的,访问会404,所以作为LLM接口调用必须要多加一层路径(如/hf/v1
),现在似乎修好了。