一、测试环境 SDK版本：4.4.0 GPU型号：MR100、BI150、BI150s 模型所需最低GPU数量：2 CPU架构：X86_64 Docker镜像：registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v6 。 二、创建容器 1. 获取镜像 离线环境通...

前提：已安装4.4.0驱动  如未安装SDK，请参考如下指南： 。 https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad4d85300ef9.html（mr系列） 。 或者 。 https://ixkb.iluvatar.com.cn:9...

一、测试条件 sdk4.4版、X86环境 、MR100卡、镜像registry.iluvatar.com.cn:10443/customer/sz/vllm0.11.2-4.4.0-x86:v9 。 二、创建容器 1、获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/...

一、测试条件 sdk4.4版、X86环境 、MR100卡、镜像harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3 。 二、创建容器 1、获取镜像 docker pull harbor.iluvatar.c...

一、测试条件 sdk4.4版、X86环境（Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz） 、MR100卡、镜像harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3 。 二...