确保docker已安装

下载模型

apt-get install git-lfs 或者yum install git-lfs 

cd /home

mkdir models

cd /home/models

git clone https://www.modelscope.cn/BAAI/bge-m3.git

git clone https://www.modelscope.cn/AI-ModelScope/m3e-large.git

导入xinference镜像

配置全向箔镜像地址
配置淄博habor的hosts
vim /etc/hosts
120.220.95.189 zibo.harbor.iluvatar.com.cn

修改docker的配置，
vim  /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"insecure-registries": ["zibo.harbor.iluvatar.com.cn:30000"]
}
重启docker    
systemctl reload docker 
拉取全向箔镜像
docker pull zibo.harbor.iluvatar.com.cn:30000/saas/bi100-3.2.1-x86-ubuntu20.04-py3.10-app-store-xinference:v1.2

启动容器

docker run -it -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /home:/home -p 9997:9997 --name=xinf --pid=host --ipc=host --privileged --cap-add=ALL --pid=host zibo.harbor.iluvatar.com.cn:30000/saas/bi100-3.2.1-x86-ubuntu20.04-py3.10-app-store-xinference:v1.2 /bin/bash

启动xinference服务

xinference-local --host 0.0.0.0 --port 9997

注册模型

cd /home/models

编辑bge_m3配置文件

vim bge_m3.json

 {

"model_name": "bge-m3-local",

"dimensions": 1024,

"max_tokens": 8192, 

"language": ["en","zh"],

"model_id": "BAAI/bge-m3", 

"model_uri": "/home/models/bge-m3"

 }

编辑m3e_large配置文件

vim m3e_large.json

{ 

"model_name": "m3e-large-local",

 "dimensions": 1024,

"max_tokens": 512, 

"language": ["en","zh"], 

"model_id": "moka-ai/m3e-large",

"model_uri": "/home/models/m3e-large" 

}

在容器内注册模型

xinference register --model-type embedding --file bge_m3.json --persist

xinference register --model-type embedding --file m3e_large.json --persist
 

在容器内启动模型

cd /home/models

xinference launch --model-name bge-m3-local --model-type embedding
xinference launch --model-name m3e-large-local --model-type embedding

简易测试

curl -X 'POST' \
  'http://0.0.0.0:9997/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '  {     "model": "bge-m3-local",     "input": "What is the capital of China?"   }

'

curl -X 'POST' \
  'http://0.0.0.0:9997/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '

{     "model": "m3e-large-local",     "input": "What is the capital of China?"   }

'

如果有需要的话，注销模型

xinference unregister --model-type embedding --model-name bge-m3-local
xinference unregister --model-type embedding --model-name m3e-large-local