确保已安装docker

下载模型权重

联网下载

apt-get install git-lfs 或者yum install git-lfs 

cd /home/models/

git clone https://www.modelscope.cn/Qwen/Qwen3-Embedding-8B.git

离线下载

在windows上通过FileZilla工具下载，文件->站点管理器->新站点

协议：选择SFTP-SSH File Transfer Protocol

通过SFTP下载，SFTP下载地址和密码，请联系天数售后工程师获取

准备镜像

联网拉取镜像

拉取淄博镜像

docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.3.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3

离线拉取镜像

在windows上通过FileZilla工具下载，文件->站点管理器->新站点

协议：选择SFTP-SSH File Transfer Protocol

通过SFTP下载，SFTP下载地址和密码，请联系天数售后工程师获取

在远程站点内输入/client_tmp/support/，把文件mr-bi150-4.3.0-x86-ubuntu20.04-py3.10-poc-llm-infer-v1.2.3.tar拷贝到windows本地目录上，然后放到服务器/home目录下

执行 docker load -i /home/mr-bi150-4.3.0-x86-ubuntu20.04-py3.10-poc-llm-infer-v1.2.3.tar

启动容器

docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /home:/home --network=host --name=test --ipc=host --privileged --cap-add=ALL --pid=host harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.3.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3 /bin/bash

进入容器

docker exec -it test bash

api测试

# server 端

在容器内执行

docker exec -it test bash

embedding起服务命令：

python3 -m vllm.entrypoints.openai.api_server --model /home/models/Qwen3-Embedding-8B/ --host 127.0.0.1 --port 1234 --trust-remote-code

# client 端
embedding测试接口

curl -X 'POST' \
curl  http://localhost:1234/v1/embeddings  \
  -H "Content-Type: application/json" \
  -d '{
        "model": "/home/models/Qwen3-Embedding-8B/",
        "input": ["今天天气真好", "明天会下雨吗"]
      }'
  }'