概述 本文提供单机部署k8s系统，旨在指导用户在k8s集群导入GPU虚拟化（iluvatar VGPU）插件。天数智芯VGPU方案是针对天数智芯加速卡实现的基于Kubernetes(K8s) 集群系统的GPU虚拟化方案，部署此方案后可以实现多用户同时使用天数智芯加速卡。该方案GPU算力的最小颗粒度为一张天数智芯加速卡的1%，显存的最小颗...

VGPU 虚拟化 k8s

一、测试环境 SDK版本：4.4.0 GPU型号：MR100 CPU架构：x86_64 模型所需最低GPU数量：1 Docker镜像：registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v7 二、创建容器 1. 获取镜像 离线环境通过SFTP从指定服务器下载基础...

下载安装包 密码联系天数工程师 。 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn  get /client_tmp/support/kk/minerU/* /home 。 安装driver和base镜像 (勾选driver后选择install安装） 。 bash corex-do...

DBNet++模型部署（SDK4.4.0） 。 。 一、测试环境 SDK版本：4.4.0 GPU型号：MR100 CPU架构：x86_64 模型所需最低GPU数量：1 二、创建容器 1. 获取镜像 通过SFTP从指定服务器下载基础镜像文件： 。 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn...

ixstream测试rtsp+解码+拼接 。 测试环境 SDK版本：4.3.0,，4.3.8，4.4.0 GPU型号：MR100 CPU架构：x86_64，arm 模型所需最低GPU数量：1 二、创建容器 1. 获取镜像 通过SFTP从指定服务器下载基础镜像文件： 。 sftp -P 29880 iluvatar_mr@iftp.ilu...

一、测试环境 SDK版本：4.4.0 GPU型号：MR100 模型所需最低GPU数量：4 CPU架构：X86_64 。 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v6 。 2. 创建容器 使用以下命...

一、测试环境 SDK版本：4.4.0 GPU型号：MR100、天垓150、天垓150s 模型所需最低GPU数量：2张MR100、1张天垓150、1张天垓150s CPU架构：X86_64 。 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vll...

一、测试条件 sdk4.4版、X86环境、MR100卡 。 镜像下载 。 离线下载 。 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn   访问密码请联系天数售后 。 get /client_tmp/support/4.4/vllm0.17.0-4.4...

GLM-4.7-Flash w4a8

GLM-4.5-Air-w4a8模型部署（SDK4.4.0） 。 。 一、测试环境 SDK版本：4.4.0 GPU型号：MR100 CPU架构：x86_64 模型所需最低GPU数量：4 二、创建容器 1. 获取镜像 。 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm...

一、测试环境 SDK版本：4.4.0 GPU型号：MR100、BI150、BI150s 模型所需最低GPU数量：4卡BI150、8卡MR100 CPU架构：X86_64 Docker镜像：corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容...