前提已安装4.4.0驱动
如未安装SDK，请参考如下指南：
https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html （mr系列）
或者
https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad814ae40f5d.html（天垓150系列） 进行安装
镜像下载
没有网的情况下可以sftp上下载放到服务器上
密码 联系天数售后工程师
sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn
get /client_tmp/support/4.4/vllm0.17.0-4.4.0-x86.v5.tar /home
导入镜像
docker load -i /home/vllm0.17.0-4.4.0-x86.v5.tar
服务器能连外网情况下可以直接使用docker pull进行镜像拉取
docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v5
创建容器 (data是数据盘，根据实际数据盘进行调整）
docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /home:/home -v /data:/data --network=host --name=Qwen --pid=host --ipc=host --privileged --cap-add=ALL registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v5 /bin/bash
模型下载（在容器内）
docker exec -it Qwen bash
mkdir -p /data/model
pip install modelscope
modelscope download --model iluvatar-corex/Qwen3-VL-235B-A22B-Instruct-W4A8 --local_dir ./Qwen3-VL-235B-A22B-Instruct-W4A8
部署模型（在容器内）
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_W8A8_MOE_USE_W4A8=1
vllm serve /data/model/Qwen3-VL-235B-A22B-Instruct-W4A8 -tp 8 -pp 2 --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' --gpu-memory-utilization 0.90 --max-model-len 16384 --host 0.0.0.0 --port 1234 --enable-prefix-caching --max_num_seqs 16 --allowed-local-media-path /
客户端进行测试
再起一个窗口，不进入容器，输入下面命令
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model":"/data/model/Qwen3-VL-235B-A22B-Instruct-W4A8",
"messages":[{
"role":"user",
"content":[
{"type":"text","text":"Describe this image."},
{"type":"image_url","image_url":{"url":"file:///data/kk/demo.jpeg"}}
]}]}'
PNG