deepseek-v3.2-exp是deepseek ai于2025年9月29日发布的实验性大语言模型,标志着该公司在ai架构创新方面的重要里程碑。作为v3.1-terminus的升级版本,v3.2-exp的核心创新在于引入了deepseek稀疏注意力(dsa)机制。
传统注意力机制需要计算序列中每个token与所有其他token的关系,计算复杂度为O(n²)。DSA通过以下方式进行优化:
根据官方性能数据:
指标 | DeepSeek-V3.1-Terminus | DeepSeek-V3.2-Exp | 改进幅度 |
---|---|---|---|
长文本推理速度 | 基准 | 显著提升 | ~2-3倍 |
内存使用量 | 基准 | 降低 | ~30-40% |
训练效率 | 基准 | 提升 | ~50% |
API成本 | 基准 | 降低 | 50%+ |
基准测试 | DeepSeek-V3.1-Terminus | DeepSeek-V3.2-Exp | 变化 |
---|---|---|---|
MMLU-Pro | 85.0 | 85.0 | 持平 |
GPQA-Diamond | 80.7 | 79.9 | -0.8 |
Humanity's Last Exam | 21.7 | 19.8 | -1.9 |
LiveCodeBench | 74.9 | 74.1 | -0.8 |
AIME 2025 | 88.4 | 89.3 | +0.9 |
HMMT 2025 | 86.1 | 83.6 | -2.5 |
Codeforces | 2046 | 2121 | +75 |
Aider-Polyglot | 76.1 | 74.5 | -1.6 |
基准测试 | DeepSeek-V3.1-Terminus | DeepSeek-V3.2-Exp | 变化 |
---|---|---|---|
BrowseComp | 38.5 | 40.1 | +1.6 |
BrowseComp-zh | 45.0 | 47.9 | +2.9 |
SimpleQA | 96.8 | 97.1 | +0.3 |
SWE Verified | 68.4 | 67.8 | -0.6 |
SWE-bench Multilingual | 57.8 | 57.9 | +0.1 |
Terminal-bench | 36.7 | 37.7 | +1.0 |
V3.2-Exp在保持整体性能水平的同时,在特定任务(如数学推理、编程竞赛、浏览器操作)上表现出提升,表明稀疏注意力机制不仅提高了效率,还可能在某些场景下增强了模型能力。
DeepSeek-V3.2-Exp API采用基于缓存的差异化定价策略:
服务类型 | 缓存命中 | 缓存未命中 |
---|---|---|
输入成本 | $0.07/百万token | $0.56/百万token |
输出成本 | $0.16/百万token | $0.42/百万token |
# 模型权重转换cd inferenceexport EXPERTS=256 python convert.py --hf-ckpt-path ${HF_CKPT_PATH} \ --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} \ --model-parallel ${MP}# 启动交互式界面export CONFIG=config_671B_v3.2.json torchrun --nproc-per-node ${MP} generate.py \ --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} \ --interactive
硬件平台 | Docker镜像 | 特性 |
---|---|---|
H200 | lmsysorg/sglang:dsv32 | 最佳性能 |
MI350 | lmsysorg/sglang:dsv32-rocm | AMD GPU支持 |
NPU A2/A3 | lmsysorg/sglang:dsv32-a2/a3 | 国产芯片适配 |
启动命令:
python -m sglang.launch_server \ --model deepseek-ai/DeepSeek-V3.2-Exp \ --tp 8 --dp 8 --page-size 64
vLLM提供day-0支持,详细配置可参考官方recipes。
部署规模 | GPU配置 | 内存需求 | 适用场景 |
---|---|---|---|
小规模测试 | 1x H100 | 80GB | 研发测试 |
中等规模 | 4x H100 | 320GB | 企业应用 |
大规模生产 | 8x H100 | 640GB+ | 商业服务 |
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号