背景介绍 本测试实验部署一个基于DeepSeek-R1大语言模型的RAG(检索增强生成)系统。该系统由两部分组成：一台服务器上的向量数据库服务和另一台服务器上的RAG推理服务。系统搭建后，用户可以通过Web界面向系统提问，系统会检索相关文档并生成基于检索内容的准确回答。 系统支持的知识库包含： 。 引用自天数智芯官网的新闻的"...

前置条件 两台服务器节点 天数加速卡驱动 天数软件栈Docker镜像 DeepSeek模型转换工具ds-fp82int8-tool 部署DeepSeek 1. 解压deepseek-infer.tar后，按照容器安装方式在两台服务器节点安装天数软件栈。 2. 在两台服务器执行以下命令，以deepseek-infer:v1模型为例： 。 ...

一、测试前准备工作 1.下载镜像 通过SFTP下载，SFTP下载地址和密码，请联系天数售后工程师获取 。 。 get /client_tmp/support/mr-bi150-4.2.0-x86-ubuntu20.04-py3.10-customer-ds-671b-v1.3.tar 。 2.下载模型 apt-get install g...

确保已安装docker 下载DeepSeek模型权重 apt-get install git-lfs 或者yum install git-lfs  cd /home/deepseek-ai/ 。 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distil...

准备权重 （前提是4.3.0SDK已安装） apt-get install git-lfs 或者yum install git-lfs  mkdir -p /home/model/ 。 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git 。 准备测试脚...

确保已安装docker 下载DeepSeek模型权重 。 apt-get install git-lfs 或者yum install git-lfs  。 cd /home/deepseek-ai/ 。 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Di...

卸载原来SDK （如果有，就需要执行，没有跳过这步） rmmod iluvatar 。 sudo /usr/local/corex/bin/corex-driver-uninstaller 。 sudo /usr/local/corex/bin/corex-uninstaller 。 ls -l /usr/local/corex* 。 ...

卸载原来SDK （如果有，就需要执行，没有跳过这步） rmmod iluvatar 。 sudo /usr/local/corex/bin/corex-driver-uninstaller 。 sudo /usr/local/corex/bin/corex-uninstaller 。 ls -l /usr/local/corex* 。 ...

确保已安装docker 下载DeepSeek模型权重 。 apt-get install git-lfs 或者yum install git-lfs  。 cd /home/deepseek-ai/ 。 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Di...

前提已安装4.4.0驱动 （两个节点） 如未安装SDK，请参考如下指南： 。  https://ixkb.iluvatar.com.cn:9443/webdoc/view/Pub8a16948a9a4cb023019cad9168850f71.html 进行安装 。 模型下载  （可以从节点一拷贝到节点二） pip ...