一、测试环境

SDK版本：4.4.0
GPU型号：MR100
模型所需最低GPU数量：1卡
CPU架构：X86_64
Docker镜像：registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7

二、创建容器

1. 获取镜像

离线环境通过SFTP从指定服务器下载基础镜像文件：

sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn # 密码：请联系天数售后工程师

get /client_tmp/support/4.4/vllm0.17.0-4.4.0-x86.v7.tar /home

或者在线拉取镜像：

docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7

2. 部署镜像

离线环境镜像部署：

docker load -i vllm0.17.0-4.4.0-x86.v7.tar /home

在线环境镜像部署：

无

3. 创建容器

使用以下命令创建并启动容器：

docker run -dit \ -v /usr/src:/usr/src \ -v /lib/modules:/lib/modules \ -v /dev:/dev \ -v /data:/data \ -v /home:/home \ --network=host \ --name=tts \ --ipc=host \ --privileged \ --cap-add=ALL \ --pid=host \ registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7 \ /bin/bash

三、模型部署

以下操作在容器内执行

#进入容器

docker exec -it tts bash

1. 下载权重和依赖包

通过ModelScope下载模型权重：

pip3 install modelscope

mkdir -p /data/models

cd /data/models

modelscope download --model Qwen/Qwen3-TTS-12Hz-1.7B-Base --local_dir ./Qwen3-TTS-12Hz-1.7B-Base

下载vllm-omni包

sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn # 密码：请联系天数售后工程师

get /client_tmp/support/kk/vllm-omni.tar.gz /data

解压vllm-omni包并安装

cd /data

tar -zxvf vllm-omni.tar.gz

cd /data/vllm-omni

pip3 install .

2. 启动模型

#启动模型

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 VLLM_ENFORCE_CUDA_GRAPH=1 vllm serve /data/models/Qwen3-TTS-12Hz-1.7B-Base/ --omni --port 8091

四、测试验证

1. 语音转换测试

再起一个窗口，进入容器测试

docker exec -it tts bash
cd /data/vllm-omni/examples/online_serving/qwen3_tts
python3 openai_speech_client.py \
--model /data/models/Qwen3-TTS-12Hz-1.7B-Base/ \
--task-type Base \
--text "hello, 您好吗？我是通义千问" \
--ref-audio https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-TTS-Repo/clone_2.wav \
--ref-text "Okay. Yeah. I resent you. I love you. I respect you. But you know what? You blew it! And thanks to you." \
--output output.wav

[Title]