一、测试条件
sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run
二、创建容器
sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn 密码请咨询天数售后
get /SDK_4.4.0/x86/sdk/corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run
docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /data:/data -v /home:/home --network=host --name=sdk440llm --ipc=host --privileged --cap-add=ALL --pid=host 9ce446babf40 /bin/bash
三、启动服务
1、魔搭上下载权重
参考此命令下载
pip install modelscope
modelscope download --model siky47/deepseek-coder-33B-instruct-AWQ --local_dir /data/models/deepseek-coder-33B-instruct-AWQ
2、启动模型
export VLLM_ENFORCE_CUDA_GRAPH=1
export TORCHDYNAMO_DISABLE=1
python3 -m vllm.entrypoints.openai.api_server \
--model /data/models/deepseek-coder-33B-instruct-AWQ \
--gpu-memory-utilization 0.8 \
--max-model-len 8192 \
--max-num-seqs 256 \
--tensor-parallel-size 2 \
--host 0.0.0.0 \
--port 8000 \
--trust-remote-code \
--enable-prefix-caching \
--dtype half \
--compilation-config '{
"cudagraph_mode": "FULL_DECODE_ONLY",
"cudagraph_capture_sizes": [1,2,4,8],
"level": 0
}'
四、curl请求测试
1、普通Curl请求测试
curl -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "/data/models/deepseek-coder-33B-instruct-AWQ",
"prompt": "请详细介绍一下人工智能\n",
"temperature": 0.0,
"max_tokens": 1024
}'
2、使用jq格式化curl输出
1)、安装jq
apt-get update
apt-get install jq
2）、curl请求测试
curl -s -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "/data/models/deepseek-coder-33B-instruct-AWQ",
"prompt": "请详细介绍一下人工智能\n",
"temperature": 0.0,
"max_tokens": 1024
}' | jq -r '.choices[0].text'
