662  
查询码: 00000740
llama.cpp 部署Qwen3.8-27B-GGUF (SDK 4.4.0+x86)
专家 2026年08月26日 发布 ,于 2026年09月29日 编辑

一、测试环境

  • SDK 版本:4.4.0

  • GPU 型号:MR-V100 或 BI-V150

  • CPU 架构:x86_64

  • 模型所需最低 GPU 数量:1(MR-V100单卡,BI-V150 0.5卡)

二、创建容器

### 1. 获取镜像

docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-app-store-llama-cpp@sha256:6fd813a3e5b4b43252f51908f34711319b2373f0ae52281c09e3bb5dbd3c57b5

2. 创建容器

使用以下命令创建并启动容器:

docker run -dit \   -v /usr/src:/usr/src \   -v /lib/modules:/lib/modules \   -v /dev:/dev \   -v /data:/data \   -v /home:/home \   --network=host \   --name=llamacpp \   --ipc=host \   --privileged \   --cap-add=ALL \   --pid=host \  harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-app-store-llama-cpp@sha256:6fd813a3e5b4b43252f51908f34711319b2373f0ae52281c09e3bb5dbd3c57b5 \  /bin/bash

说明:本例使用单 GPU 部署,启动 llama-server 时通过 CUDA_VISIBLE_DEVICES=0 最低可限制使用 1 张卡。服务器为 16 卡环境时,必须限制可见 GPU,否则会触发 GGML_SCHED_MAX_BACKENDS(16)上限导致崩溃。

三、模型部署

以下操作在容器内执行:

# 进入容器 docker exec -it llamacpp bash

1. 下载权重

Qwen3.8-27B 官方 ModelScope 暂未提供 GGUF 量化权重,可从 HuggingFace bartowski/Qwen3.8-27B-GGUF 仓库下载标准 Q4_K_M 版本(经国内镜像 hf-mirror.com 加速)。

# 国内网络建议使用 hf-mirror.com 镜像 wget -c 'https://hf-mirror.com/bartowski/Qwen3.8-27B-GGUF/resolve/main/Qwen3.8-27B-Q4_K_M.gguf' \   -O /data/models/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf

说明:

  • 权重文件大小约 17.7 GB(17,772,537,440 字节)。

  • 不要使用 unsloth 的 UD(Unsloth Dynamic)量化版本。

  • 建议使用标准 K 系列量化(bartowski 仓库)。

2. 启动模型

cd /data/models/Qwen3.8-27B-GGUF  docker exec -dit -e CUDA_VISIBLE_DEVICES=0 llamacpp bash -c \   'cd /data/models/Qwen3.8-27B-GGUF && llama-server \    -m Qwen3.8-27B-Q4_K_M.gguf \    --ctx-size 131072 \    --parallel 1 \    --n-gpu-layers 99 \    --flash-attn on \    --host 0.0.0.0 \    --port 8080'

关键参数说明:

  • -e CUDA_VISIBLE_DEVICES=0:限制单卡(16 卡环境必需)。

  • --ctx-size 131072:128K 上下文,连接 DeepSeek Harness(dsh)等智能体框架需 128K 上下文。

  • --n-gpu-layers 99:将 99 层权重加载至 GPU。

  • --host 0.0.0.0 --port 8080:新镜像默认端口为 8080。

可选优化参数(MTP 投机解码、KV 量化):

  --spec-type draft-mtp --spec-draft-n-max 4 \   -ctk q4_0 -ctv q4_0

四、测试验证

1. 基础 curl 请求测试

模型启动成功后,使用 OpenAI 兼容接口进行推理测试:

curl http://localhost:8080/v1/chat/completions \   -H "Content-Type: application/json" \   -d '{     "messages": [       {"role": "user", "content": "你好,请用一句话介绍你自己"}     ],     "max_tokens": 100  }'

预期返回生成的回复内容。

2. 性能参考

单卡 BI-V150 部署 Qwen3.8-27B-Q4_K_M 实测:

指标 数值

生成速度

约 21.6 tokens/s

逐 token 耗时

约 46.3 ms

显存占用

单卡 32 GB

笔记



  目录
    天数智芯知识库系统 -V 5.2.7 -wcp