一、测试环境 SDK版本:4.4.0 GPU型号:MR100、天垓150、天垓150s 模型所需最低GPU数量:2张MR100、1张天垓150、1张天垓150s CPU架构:X86_64 。 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vll...
一、测试条件 sdk4.4版、X86环境、MR100卡 。 镜像下载 。 离线下载 。 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn 访问密码请联系天数售后 。 get /client_tmp/support/4.4/vllm0.17.0-4.4...
GLM-4.5-Air-w4a8模型部署(SDK4.4.0) 。 。 一、测试环境 SDK版本:4.4.0 GPU型号:MR100 CPU架构:x86_64 模型所需最低GPU数量:4 二、创建容器 1. 获取镜像 。 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm...
一、测试环境 SDK版本:4.4.0 GPU型号:MR100、BI150、BI150s 模型所需最低GPU数量:4卡BI150、8卡MR100 CPU架构:X86_64 Docker镜像:registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v6 。 二、创建容器...
一、测试环境 SDK版本:4.4.0 GPU型号:MR100、BI150、BI150s 模型所需最低GPU数量:2 CPU架构:X86_64 Docker镜像:registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v6 。 二、创建容器 1. 获取镜像 离线环境通...
一、测试环境 SDK版本:4.4.0 GPU型号:MR100、BI150、BI150s 模型所需最低GPU数量:4卡BI150、8卡MR100 CPU架构:X86_64 Docker镜像:corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容...
GLM-4.5-Air模型部署(SDK4.4.0) 。 。 一、测试环境 SDK版本:4.4.0 GPU型号:MR100 CPU架构:x86_64 模型所需最低GPU数量:16 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0...
一、测试环境 SDK版本:4.4.0 GPU型号:MR100 模型所需最低GPU数量:2 CPU架构:X86_64 。 二、创建容器 1. 获取镜像 通过SFTP从指定服务器下载基础镜像文件: 。 docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubunt...
环境准备 安装好SDK4.4.0,安装好docker 。 下载镜像 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn,密码联系售后获取 。 get /client_tmp/support/llamafactory/llamafactory_v3.tar.gz ./ 。 创建容器 gu...
概述 本文提供单机部署k8s系统,旨在指导用户在k8s集群导入GPU虚拟化(iluvatar VGPU)插件。天数智芯VGPU方案是针对天数智芯加速卡实现的基于Kubernetes(K8s) 集群系统的GPU虚拟化方案,部署此方案后可以实现多用户同时使用天数智芯加速卡。该方案GPU算力的最小颗粒度为一张天数智芯加速卡的1%,显存的最小颗...
一、测试条件 sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn (访问密码请联...
ixstream测试用例介绍 。 测试环境 SDK版本:4.3.0,,4.3.8,4.4.0 GPU型号:MR100 CPU架构:x86_64,arm 模型所需最低GPU数量:1 二、创建容器 1. 获取镜像 通过SFTP从指定服务器下载基础镜像文件: 。 sftp -P 29880 iluvatar_mr@iftp.iluvatar....