卸载原来SDK (如果有,就需要执行,没有跳过这步) rmmod iluvatar 。 sudo /usr/local/corex/bin/corex-driver-uninstaller 。 sudo /usr/local/corex/bin/corex-uninstaller 。 ls -l /usr/local/corex* 。 ...
前提已安装4.4.0驱动 如未安装SDK,请参考如下指南: 。 https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html 进行安装 。 模型下载 pip install modelsco...
环境信息: 加速卡:智铠100*8张 。 系统平台:x86 。 操作系统:Ubuntu server 22.04.5 。 SDK版本:4.3.0 。 一、宿主机安装驱动(SDK) 请参照: 。 天数智芯SDK安装实操手册V1.0-天数智芯知识库系统 。 二、宿主机安装docker(略) 三、下载软件包 cd /home 。 ftp -P...
GLM-4.5-Air模型部署(SDK4.4.0) 。 。 一、测试环境 SDK版本:4.4.0 GPU型号:MR100 CPU架构:arm 模型所需最低GPU数量:16 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4....
GLM-4.5-Air-w4a8模型部署(SDK4.4.0) 。 。 一、测试环境 SDK版本:4.4.0 GPU型号:MR100 CPU架构:x86_64 模型所需最低GPU数量:4 二、创建容器 1. 获取镜像 。 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm...
一、测试环境 SDK版本:4.5.0 GPU型号:BI150 模型所需最低GPU数量:8 CPU架构:x86_64 二、安装SDK4.5.0 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn # 密码请咨询天数售后 。 。 get /client_tmp/support/kk/corex-dr...
GLM-4.5-Air模型部署(SDK4.4.0) 。 。 一、测试环境 SDK版本:4.4.0 GPU型号:MR100 CPU架构:x86_64 模型所需最低GPU数量:16 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0...
一、测试环境 SDK版本:4.4.0 GPU型号:MR100 模型所需最低GPU数量:4 CPU架构:X86_64 。 二、创建容器 1. 获取镜像 docker pull registry.iluvatar.com.cn:10443/customer/sz/vllm0.17.0-4.4.0-x86:v6 。 2. 创建容器 使用以下命...
GLM-5.3-Flash-BF16-w4a8模型部署(SDK 4.5.0 + X86) 。 一、测试条件 SDK版本:4.5.0 模型所需最低GPU数量:16 CPU架构:X86_64 。 二、安装SDK4.5.0 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn # 密码请咨询天数售后 。...
一、测试条件 sdk4.4版、X86环境、MR100卡 。 镜像下载 。 离线下载 。 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn 访问密码请联系天数售后 。 get /client_tmp/support/4.4/vllm0.17.0-4.4...