1 创建docker镜像并启动docker容器

bash corex-docker-installer-4.1.2-10.2-ubuntu20.04-py3.10-x86_64.run

docker run -d --shm-size="32g" -it -v /usr/src:/usr/src -v /lib/modules:/lib/modules -v /dev:/dev -v /home:/home --name=test --privileged --cap-add=ALL --pid=host corex:4.1.2

docker exec -it test /bin/bash

2 准备测试依赖包和数据集

cd /home

bash llm-inference-benchmark-corex-4.1.2.run

pip3 install transformers==4.39.3 accelerate==0.29.0 scipy safetensors -i https://pypi.tuna.tsinghua.edu.cn/simple

pip3 uninstall apex

下载并解压数据集：

https://huggingface.co/datasets/THUDM/LongBench/resolve/main/data.zip

cp data.zip /home/llm-inference-benchmark/text-generation-inference

unzip data.zip

3 下载模型权重（用的魔塔社区）

apt-get install git-lfs curl

git clone https://www.modelscope.cn/AI-ModelScope/stable-diffusion-3-medium-diffusers.git

4 大模型测试

cd /home/llm-inference-benchmark/diffusers

vi demo_sb3.py (修改第11行改为现在模型权重所在的目录）

python3 demo_sb3.py