月度归档： 2023 年 12 月

运行 server 端，以 colab 为例：

首先用 CF-Tunnel、Ngrok 之类的工具穿透，然后加载模型：

!mkdir -p /root/.tabby
!wget https://github.com/TabbyML/tabby/releases/download/v0.6.0/tabby_x86_64-manylinux2014-cuda117
!chmod +x tabby_x86_64-manylinux2014-cuda117
!TABBY_DISABLE_USAGE_COLLECTION=1 ./tabby_x86_64-manylinux2014-cuda117 serve --model TabbyML/DeepseekCoder-6.7B --device cuda --port 8443
# change the default port due to 8080 is occupied by colab

在 vscode 中安装 Tabby 插件，填入远程地址，即可：

问题：经常会超时，多次后就会拒绝连接。修改 config.toml 似乎无效，不知道什么原因。