SGLang部署Deepseek

最近听说，Deepseek的部署工具中SGlang是官方最推荐的，今天来学习一下这种部署方式。

SGLang 是一个针对大型语言模型和视觉语言模型的快速服务框架。它通过共同设计后端运行时和前端语言，让您与模型的交互更快、更可控。

我们先来看下三个部署工具分别的适用场景：

考虑到Deepseek-R1满血版，是一个集成CoT的模型，所以文本都比较长，所以官方会推荐使用SGlang来进行部署。

照例先放一下repo的地址：https://github.com/sgl-project/sglang

（1）SGLang安装步骤：

官方推荐的安装方式有4种：

• 使用pip or uv方式；需要连接到抱抱脸；

• git下载后，源码安装；需要连接到github；

• 直接下载docker镜像方式；需要可连接至docker-hub；

• docker compose方式；本地集群部署推荐这种方式。

考虑服务器环境，本次采用第二种部署方式，源码安装方式：

git clone -b v0.4.3.post2 https://github.com/sgl-project/sglang.git

cd sglang

pip install --upgrade pippip install sgl-kernel --force-reinstall --no-depspip install -e "python[all]" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

注意这里隐藏着一个官方bug，目前这个工具兼容的transformers版本是4.48.3。如果你不是这个版本，安装成功后，在后面运行加载模型时会报错。

我的服务器transformers版本是4.49，所以还需要降版本操作。

pip uninstall transformers -y

pip install transformers==4.48.3
--force-reinstall
--no-deps
--index-url https://pypi.org/simple/
--extra-index-url https://download.pytorch.org/whl/cu124

安装完之后，运行

python -c "import transformers; print(transformers.version)"

输出结果是：4.48.3。就没有问题了。

（2）SGLang加载大模型：

为加快模型下载速度，我直接从modelscope上下载7B模型：

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

然后从本地上传至服务器。

然后通过本命令去执行加载，注意这里模型参数需要使用绝对路径。

python3 -m sglang.launch_server --model /root/autodl-tmp/DeepSeek-R1-Distill-Qwen-7B --trust-remote-code --tp 1

模型启动完后，我们用curl去连接下试试：

curl -v http://127.0.0.1:30000/v1/completions -H 'X-API-Key: 93e8b39f55fc4097956054c80a8ed7cf' -H "Content-Type: application/json" -d '{ "model": "DeepSeek-R1", "prompt": "你是谁?", "max_tokens": 100, "temperature": 0 }'

返回是正常的。（其实这里有个坑，先不说）

我们利用对话工具ChatBox来试一下API是否正常。

连接正常，对话正常，然后，见鬼的事情出现：

我问它参数量，它告诉我是14B.....我明明是从modelscope上下载的7B啊，不管了，反正能用。

接下来需要开启API-key，这是个很重要的安全控制。

python3 -m sglang.launch_server --model /root/autodl-tmp/DeepSeek-R1-Distill-Qwen-7B --trust-remote-code --tp 1 --api-key 123321

在启动参数最后面加上--api-key 123321即可，123321是我设置的试用key，真正使用时要注意秘钥复杂度。

如果在配置时，不输入秘钥，就会报错，无法连接。（这里提示的OpenAI API失败，是因为默认SGLang的启用的API是OpenAI API格式）。

更新API-key后，又可以正常链接了。

是的，它还是坚持自己是14B。

老说AI会有幻觉，我觉得这一把不是它有幻觉，就是我有幻觉了。。。