一、测试条件 SDK版本：4.4.0 GPU型号：MR100 模型所需最低GPU数量：4 CPU架构：X86_64 二、创建容器 1、获取镜像 docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer...

一、测试条件 SDK版本：4.4.0 GPU型号：MR100 模型所需最低GPU数量：2 CPU架构：X86_64 二、创建容器 1、获取镜像 docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer...

一、测试条件 SDK版本：4.4.0 GPU型号：MR100 模型所需最低GPU数量：2 CPU架构：X86_64 二、创建容器 1、获取镜像 docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer...

一、量化 量化脚本调用量化工具。 1、量化脚本 python3 quant_qwen3.py --input-fp8-hf-path /data/model/Qwen3-235B-A22B-Instruct-2507/ --output-int8-hf-path /data/model/Qwen3-235B-A22B-Instruct-...

Qwen3-235B-A22B-Instruct-2507-W4A8

前提已安装4.4.0驱动  如未安装SDK，请参考如下指南： 。 https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html （mr系列） 。 或者 。 https://ixkb.iluvatar.com.cn:9...

一、测试条件 sdk4.4版、X86环境、MR100卡、镜像harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3 。 二、创建容器 1、获取镜像 docker pull harbor.iluvatar.co...

前提已安装4.4.0驱动  如未安装SDK，请参考如下指南： 。 https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html （mr系列） 。 或者 。 https://ixkb.iluvatar.com.cn:9...

一、测试条件 sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn  访问密码请联系...

一、测试条件 sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn   访...

一、测试条件 sdk4.4版、X86环境（Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz） 、MR100卡、镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 1、获取镜像 sftp -P 2988...