一、量化 量化脚本调用量化工具。 1、量化脚本 python3 quant_qwen3.py --input-fp8-hf-path /data/model/Qwen3-235B-A22B-Instruct-2507/ --output-int8-hf-path /data/model/Qwen3-235B-A22B-Instruct-...

Qwen3-235B-A22B-Instruct-2507-W4A8

前提已安装4.4.0驱动  如未安装SDK，请参考如下指南： 。 https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html （mr系列） 。 或者 。 https://ixkb.iluvatar.com.cn:9...

一、测试条件 sdk4.4版、X86环境、MR100卡、镜像harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-poc-llm-infer:v1.2.3 。 二、创建容器 1、获取镜像 docker pull harbor.iluvatar.co...

前提已安装4.4.0驱动  如未安装SDK，请参考如下指南： 。 https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html （mr系列） 。 或者 。 https://ixkb.iluvatar.com.cn:9...

一、测试条件 sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn  访问密码请联系...

一、测试条件 sdk4.4版、X86环境、MR100卡、基础镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn   访...

一、测试条件 sdk4.4版、X86环境（Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz） 、MR100卡、镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 1、获取镜像 sftp -P 2988...

确保已安装docker 下载模型权重 联网下载 apt-get install git-lfs 或者yum install git-lfs  cd /home/models/ 。 git clone https://www.modelscope.cn/Qwen/Qwen3-Embedding-8B.git 。 。 离线下载 。...

一、测试条件 sdk4.4版、X86环境 、MR100卡、镜像corex-docker-installer-4.4.0-10.2-ubuntu20.04-llm-py3.10-x86_64.run 。 二、创建容器 1、获取镜像 sftp -P 29880 iluvatar_mr@iftp.iluvatar.com.cn &n...

卸载原来SDK （如果有，就需要执行，没有跳过这步） rmmod iluvatar sudo /usr/local/corex/bin/corex-driver-uninstaller sudo /usr/local/corex/bin/corex-uninstaller ls -l /usr/local/corex* 确保/usr/l...