一、测试环境

二、创建容器

1. 获取镜像

sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn # 密码：请联系天数售后工程师 

get /client_tmp/support/4.4/vllm0.17.0-4.4.0-x86.v6.tar /home

或者在线拉取镜像：

docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v6

2. 部署镜像

docker load -i vllm0.17.0-4.4.0-x86.v6.tar /home

在线环境镜像部署：

无

3. 创建容器

三、模型部署

#进入容器

docker exec -it hy bash

1. 下载权重和依赖包

modelscope download --model sogagaga/Hy3-preview-w4a8  --local_dir ./Hy3-preview-w4a8

把下面附件拷贝到/home目录下

  vllm-0.17.0+corex.20260611020530-py3-none-any.zip
预览 下载 详情 

2. 启动模型

#Hy3-preview-w4a8 部署

#解压whl包

unzip vllm-0.17.0+corex.20260611020530-py3-none-any.zip

#替代镜像里的vllm包

pip3 uninstall vllm -y

pip3 install vllm-0.17.0+corex.20260611020530-py3-none-any.whl

#部署模型

export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_W8A8_MOE_USE_W4A8=1
vllm serve /data/models/Hy3-preview-w4a8 --served-model-name HY3.0-BF16-w4a8 -tp 16 -dp 1 --port 12345 --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}' --reasoning-parser hy_v3 --enable-auto-tool-choice --tool-call-parser hy_v3 

四、测试验证

1. 基础curl请求测试

curl http://0.0.0.0:12345/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "HY3.0-BF16-w4a8",
    "messages": [
      {
        "role": "user",
        "content": "介绍一下湖南省常德市美食"
      }
    ],
    "temperature": 0.0,
    "max_tokens": 1024
  }'