一、测试环境

SDK版本：4.4.0
GPU型号：MR100、BI150、BI150s
模型所需最低GPU数量：2
CPU架构：X86_64
Docker镜像：registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7.1

二、创建容器

1. 获取镜像

在线拉取镜像：

docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7.1

2. 创建容器

使用以下命令创建并启动容器：

docker run -dit \ -v /usr/src:/usr/src \ -v /lib/modules:/lib/modules \ -v /dev:/dev \ -v /data:/data \ -v /home:/home \ --network=host \ --name=qwen3.6 \ --ipc=host \ --privileged \ --cap-add=ALL \ --pid=host \ registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7.1 \ /bin/bash

三、模型部署

以下操作在容器内执行

#进入容器

docker exec -it qwen3.6 bash

1. 下载权重

通过ModelScope下载模型权重：

mkdir -p /data/models

cd /data/models

pip3 install modelscope

modelscope download --model Qwen/Qwen3.6-27B --local_dir ./Qwen3.6-27B

modelscope download --model iluvatar-corex/Qwen3.6-27B-W8A8 --local_dir ./Qwen3.6-27B-W8A8

modelscope download --model Qwen/Qwen3.6-35B-A3B --local_dir ./Qwen3.6-35B-A3B

2. 启动模型

#Qwen3.6-27B 部署

export VLLM_RPC_TIMEOUT=50000
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_KV_DISABLE_CROSS_GROUP_SHARE=1

vllm serve /data/models/Qwen3.6-27B/ -tp 4 --compilation-config='{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' --trust-remote-code --max-model-len 65536 --port 10030 --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 --max-cudagraph-capture-size 64 --served-model-name Qwen3.6-27B --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":1}'

#Qwen3.6-27B-W8A8 部署

export VLLM_RPC_TIMEOUT=50000
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_KV_DISABLE_CROSS_GROUP_SHARE=1

vllm serve /data/models/Qwen3.6-27B-W8A8/ -tp 2 --compilation-config='{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' --trust-remote-code --max-model-len 65536 --port 10030 --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 --max-cudagraph-capture-size 64 --served-model-name Qwen3.6-27B --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":1}'

#Qwen3.6-35B-A3B 部署

export VLLM_RPC_TIMEOUT=50000
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_KV_DISABLE_CROSS_GROUP_SHARE=1

vllm serve /data/models/Qwen3.6-35B-A3B/ -tp 4 --compilation-config='{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' --trust-remote-code --max-model-len 65536 --port 10030 --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 --max-cudagraph-capture-size 64 --served-model-name Qwen3.6-35B-A3B --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":1}'

四、测试验证

1. 基础curl请求测试

curl http://0.0.0.0:10030/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen3.6-35B-A3B",
"messages": [
{
"role": "user",
"content": "介绍一下湖南省常德市美食"
}
],
"temperature": 0.0,
"chat_template_kwargs": {
"enable_thinking": false
},
"max_tokens": 1024
}'

[Title]