一、测试条件
sdk4.4版、X86环境、MR100卡、镜像harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3
二、创建容器
1、获取镜像
docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3
2、创建容器
docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /data:/data -v /home:/home --network=host --name=sdk440llminfer123 --ipc=host --privileged --cap-add=ALL --pid=host harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3 /bin/bash
3、进入容器
docker exec -it sdk440llminfer123
三、启动服务
1、魔搭上下载权重
pip install modelscope
modelscope download --model Qwen/Qwen3-Coder-30B-A3B-Instruct --local_dir /data/models/Qwen3-Coder-30B-A3B-Instruct
2、启动模型
export VLLM_ENFORCE_CUDA_GRAPH=1
python3 -m vllm.entrypoints.openai.api_server --model /data/models/Qwen3-Coder-30B-A3B-Instruct --gpu-memory-utilization 0.9 --max-model-len 8192 --max-num-seqs 32 -tp 4 --host 0.0.0.0 --port 8000 --trust-remote-code --enable-auto-tool-choice --tool-call-parser qwen3_coder --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0, "cudagraph_capture_sizes":[1,2,3,4]}'
四、curl请求测试
1、普通Curl请求测试
#使用v1 chat接口
-H "Content-Type: application/json" \
-d '{
"model": "/data/models/Qwen3-Coder-30B-A3B-Instruct",
"prompt": "请详细介绍一下人工智能\n",
"temperature": 0.0,
"max_tokens": 512
}'
2、使用jq格式化curl输出
1)、安装jq
apt-get update
apt-get install jq
2）、curl请求测试
-H "Content-Type: application/json" \
-d '{
"model": "/data/models/Qwen3-Coder-30B-A3B-Instruct",
"prompt": "请介绍一下人工智能\n",
"temperature": 0.0,
"max_tokens": 512
}' | jq -r '.choices[0].text'
关于temperature设置，参考文档“temperature 的底层原理”
五、Benchmark测试
1、benchmark工具下载
sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn 访问密码请联系天数售后
get /client_tmp/support/kk/vllm_benchmark.tar.gz /home/
注：以上二选一
2、进入容器，执行测试
docker exec -it sdk440llm bash
cd /data/models/vllm_benchmark
python3 benchmark_serving.py --model /data/models/Qwen3-Coder-30B-A3B-Instruct/ --dataset-name random --random-input-len 4096 --random-output-len 4096 --num-prompts 1 --host "0.0.0.0" --port 8000
