00000740
SDK 版本:4.4.0
GPU 型号:MR-V100 或 BI-V150
CPU 架构:x86_64
模型所需最低 GPU 数量:1(MR-V100单卡,BI-V150 0.5卡)
### 1. 获取镜像
docker pull harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-app-store-llama-cpp@sha256:6fd813a3e5b4b43252f51908f34711319b2373f0ae52281c09e3bb5dbd3c57b5
使用以下命令创建并启动容器:
docker run -dit \ -v /usr/src:/usr/src \ -v /lib/modules:/lib/modules \ -v /dev:/dev \ -v /data:/data \ -v /home:/home \ --network=host \ --name=llamacpp \ --ipc=host \ --privileged \ --cap-add=ALL \ --pid=host \ harbor.iluvatar.com.cn:10443/saas/mr-bi150-4.4.0-x86-ubuntu20.04-py3.10-app-store-llama-cpp@sha256:6fd813a3e5b4b43252f51908f34711319b2373f0ae52281c09e3bb5dbd3c57b5 \ /bin/bash
说明:本例使用单 GPU 部署,启动 llama-server 时通过
CUDA_VISIBLE_DEVICES=0最低可限制使用 1 张卡。服务器为 16 卡环境时,必须限制可见 GPU,否则会触发GGML_SCHED_MAX_BACKENDS(16)上限导致崩溃。
以下操作在容器内执行:
# 进入容器 docker exec -it llamacpp bash
Qwen3.8-27B 官方 ModelScope 暂未提供 GGUF 量化权重,可从 HuggingFace bartowski/Qwen3.8-27B-GGUF 仓库下载标准 Q4_K_M 版本(经国内镜像 hf-mirror.com 加速)。
# 国内网络建议使用 hf-mirror.com 镜像 wget -c 'https://hf-mirror.com/bartowski/Qwen3.8-27B-GGUF/resolve/main/Qwen3.8-27B-Q4_K_M.gguf' \ -O /data/models/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf
说明:
权重文件大小约 17.7 GB(17,772,537,440 字节)。
不要使用 unsloth 的 UD(Unsloth Dynamic)量化版本。
建议使用标准 K 系列量化(bartowski 仓库)。
cd /data/models/Qwen3.8-27B-GGUF docker exec -dit -e CUDA_VISIBLE_DEVICES=0 llamacpp bash -c \ 'cd /data/models/Qwen3.8-27B-GGUF && llama-server \ -m Qwen3.8-27B-Q4_K_M.gguf \ --ctx-size 131072 \ --parallel 1 \ --n-gpu-layers 99 \ --flash-attn on \ --host 0.0.0.0 \ --port 8080'
关键参数说明:
-e CUDA_VISIBLE_DEVICES=0:限制单卡(16 卡环境必需)。
--ctx-size 131072:128K 上下文,连接 DeepSeek Harness(dsh)等智能体框架需 128K 上下文。
--n-gpu-layers 99:将 99 层权重加载至 GPU。
--host 0.0.0.0 --port 8080:新镜像默认端口为 8080。
可选优化参数(MTP 投机解码、KV 量化):
--spec-type draft-mtp --spec-draft-n-max 4 \ -ctk q4_0 -ctv q4_0
模型启动成功后,使用 OpenAI 兼容接口进行推理测试:
curl http://localhost:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "messages": [ {"role": "user", "content": "你好,请用一句话介绍你自己"} ], "max_tokens": 100 }'
预期返回生成的回复内容。
单卡 BI-V150 部署 Qwen3.8-27B-Q4_K_M 实测:
| 指标 | 数值 |
|---|---|
| 生成速度 |
约 21.6 tokens/s |
| 逐 token 耗时 |
约 46.3 ms |
| 显存占用 |
单卡 32 GB |