使用fastchat推理：
基于软件栈3.1.1
前置条件：驱动、软件栈安装完成，创建miniconda环境安装天数适配过的wheel包。
pip3 install fastchat 或者用（
pip3 install "fschat[model_worker,webui]"）
具体的路径根据版本不同可能稍有变化
vim /root/miniconda3/envs/py10/lib/python3.10/site-packages/fastchat/serve/vllm_worker.py
加入如下代码即可运行：from ixformer.contrib.vllm import vllm as vllm
执行命令并继续根据提示安装其他库
python3 -m fastchat.serve.cli --gpus 0,1,2,3 --model-path test_llm/v1-4/baichuan-inc/Baichuan2-13B-Chat/
