一、测试条件

sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run

二、创建容器

sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn 访问密码请联系天数售后

get /SDK_4.4.0/x86/sdk/corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run

docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /data:/data -v /home:/home --network=host --name=sdk440llm --ipc=host --privileged --cap-add=ALL --pid=host 9ce446babf40 /bin/bash

三、启动服务

1）魔搭上下载权重

参考此命令下载

pip install modelscope

modelscope download --model Qwen/Qwen3-30B-A3B-Instruct-2507 --local_dir /data/models/Qwen3-30B-A3B-Thinking-2507

2）启动服务

export VLLM_ENFORCE_CUDA_GRAPH=1
vllm serve /data/models/Qwen3-30B-A3B-Instruct-2507 --pipeline-parallel-size 1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 21504 --max-num-seqs 512 --gpu-memory-utilization 0.90 --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY","level": 0}' --disable-cascade-attn --enable-prefix-caching --enable-chunked-prefill

四、curl请求测试

1）、普通curl请求

curl -X POST "http://localhost:8000/v1/chat/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "/data/models/Qwen3-30B-A3B-Instruct-2507",
"messages": [
{"role": "user", "content": "详细介绍一下人工智能"}
],
"temperature": 0.0,
"max_tokens": 512

2、使用jq格式化curl输出
1)、安装jq
apt-get update
apt-get install jq
2）、curl请求测试
curl -s -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
-d '{
"model": "/data/models/Qwen3-30B-A3B-Instruct-2507",
"prompt": "请详细介绍一下人工智能\n",
"temperature": 0.0,
"max_tokens": 512
}' | jq -r '.choices[0].text'

五、Benchmark测试

Benchmark下载：

sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn 访问密码请联系天数售后

get /client_tmp/support//client_tmp/support/Benchmark/vllm_benchmark.tar.gz

Benchmark测试：

python3 benchmark_serving.py --model /data/models/Qwen3-30B-A3B-Instruct-2507 --dataset-name random --random-input-len 4096 --random-output-len 1024 --num-prompts 1 --host "0.0.0.0" --port 8000

[Title]

一、测试条件

二、创建容器

三、启动服务

四、curl请求测试

五、Benchmark测试