前提已安装4.4.0驱动

如未安装SDK，请参考如下指南：

https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html （mr系列）

或者

https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad814ae40f5d.html（天垓150系列）进行安装

镜像下载

没有网的情况下可以sftp上下载放到服务器上

密码联系天数售后工程师

sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn

get /client_tmp/support/4.4/vllm0.17.0-4.4.0-x86.v5.tar /home

导入镜像

docker load -i /home/vllm0.17.0-4.4.0-x86.v5.tar

服务器能连外网情况下可以直接使用docker pull进行镜像拉取

docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v5

创建容器 (data是数据盘，根据实际数据盘进行调整）

docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /home:/home -v /data:/data --network=host --name=Qwen --pid=host --ipc=host --privileged --cap-add=ALL registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v5 /bin/bash

模型下载（在容器内）

docker exec -it Qwen bash

mkdir -p /data/model

pip install modelscope

modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir ./Qwen3-ASR-1.7B

部署模型（在容器内）

vllm serve /data/model/Qwen3-ASR-1.7B --trust-remote-code --dtype bfloat16 --gpu-memory-utilization 0.9 -tp 1 --host 0.0.0.0

客户端进行测试

再起一个窗口，不进入容器，输入下面命令

curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "user", "content": [
{"type": "audio_url", "audio_url": {"url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav"}}
]}
]
}'

[Title]