安装系统软件包(缺的时候装）

apt install -y make gcc
安装GCC12（高内核版本报错时需要安装）
apt install software-properties-common
apt-get update
add-apt-repository ppa:ubuntu-toolchain-r/test
apt-get update
apt install gcc-12

gcc-12 --version

禁止内核自动更新

apt-mark hold linux-image-generic linux-headers-generic linux-headers-$(uname -r) linux-image-$(uname -r) linux-modules-$(uname -r) linux-modules-extra-$(uname -r)

安装cuda header

cuda获取版本在sftp上文件名为partial_install_cuda_header.zip

unzip partial_install_cuda_header.zip
cd partial_install_cuda_header
bash install-cuda-header.sh

宿主机上安装驱动和软件栈

bash corex-installer-linux64-4.1.2_x86_64_10.2.run
设置环境变量
vi /root/.bashrc
export LD_LIBRARY_PATH=/usr/local/corex-4.1.2/lib
export PATH=/usr/local/corex-4.1.2/bin:$PATH
source /root/.bashrc

安装Minconda3

Miniconda3 获取地址：https://repo.anaconda.com/miniconda/

sh Miniconda3-latest-Linux-x86_64.sh
source /root/miniconda3/bin
vi /root/.bashrc
export PATH=/root/miniconda3/bin:$PATH
source /root/.bashrc
conda create --name py311 python=3.11
conda create --name py310 python=3.10
conda env list
conda activate py311
大模型依赖包
apt install -y libncursesw5 libjpeg-dev zlib1g-dev
pip3 install numpy==1.23

安装深度学习框架

如果下载包timeout 切记加上 --default-timeout=300

pip3 install torch-2.1.1+corex.4.1.2-cp311-cp311-linux_x86_64.whl
pip3 install igie-0.9.1+corex.4.1.2-cp311-cp311-linux_x86_64.whl
pip3 install tensorflow-2.12.0+corex.4.1.2-cp311-cp311-linux_x86_64.whl
如果安装tensorflow时报google-auth-oauthlib 冲突需要安装以下版本包
pip3 install google-auth-oauthlib==1.0 --default-timeout=300
pip3 install torchvision-0.16.0+corex.4.1.2-cp311-cp311-linux_x86_64.whl --default-timeout=300
pip3 install cuda_python-11.8.0+corex.4.1.2-cp311-cp311-linux_x86_64.whl --default-timeout=300

安装示例脚本

bash corex-samples-4.1.2_x86_64.run
cd /root/corex-samples-4.1.2_x86_64
tree -L 1
安装深度学习推理框架示例脚本
cp corex-inference-data-3.1.0.tar /root/corex-samples-4.1.2_x86_64/samples/inferencesamples/
cd /root/corex-samples-4.1.2_x86_64/samples/inferencesamples/
tar -xvf corex-inference-data-3.1.0.tar
cd data
tree -L 1
准备推理前环境
bash quick_build_environment.sh
如果在安装pip3 install opencv-python onnx这些软件包时报timeout错误，可以单独通过以下命令执行软件包安装：
pip3 install opencv-python==4.6.0.66 --default-timeout=300
pip3 install onnx --default-timeout=300
pip3 install onnxsim --default-timeout=300
根据对应模型执行初始化脚本init.sh 模型是resnet，如下
cd /root/corex-samples-4.1.2_x86_64/samples/inferencesamples/executables/resnet
bash init.sh
tree -L 1

推理模型测试

使用ResNet50模型，验证在INT8精度上的推理性能为例

bash init.sh
bash infer_resnet50_int8_performance_igie.sh
快速使用推理模型测试
igie-exec --model_path resnet18 --input input:32,3,224,224 --precision int8
问题
如果报numpy版本冲突问题，把之前安装的numpy卸载后，重新安装对应的版本
pip3 uninstall numpy
pip3 install numpy==1.23.5 --default-timeout=300

[Title]