一、量化

量化脚本调用量化工具。

1、量化脚本

python3 quant_qwen3.py --input-fp8-hf-path /data/model/Qwen3-235B-A22B-Instruct-2507/ --output-int8-hf-path /data/model/Qwen3-235B-A22B-Instruct-2507-W4A8 --group-size -1 --format TN --version 2

2、量化python工具

  quant_qwen3.zip
预览 下载 详情 

二、推理

export VLLM_W8A8_MOE_USE_W4A8=1
export VLLM_ENFORCE_CUDA_GRAPH=1
export VLLM_USE_MODELSCOPE=True

vllm serve /data/model/Qwen3-235B-A22B-Instruct-2507-W4A8/ --trust-remote-code --pipeline-parallel-size=2 --tensor-parallel-size=4 --max-model-len 8192 --max-num-seqs 10 --disable-log-requests --enable-prefix-caching --disable-cascade-attn --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", "level": 0}'

三、curl测试

curl 127.0.0.1:8000/v1/completions -H "Content-Type: application/json" -d '{"model":"/data/model/Qwen3-235B-A22B-Instruct-2507-W4A8/", "prompt":"简单介绍一下湖南省常德市", "temperature":0.0, "max_tokens":1024}'