当前方案一和方案二均固定为 262144 tokens(输入 + 输出合计),只保留
deepseek-v4-flash、deepseek-v4-flash-claude 两个 API 名称。二者共享同一引擎、权重与 KV cache。
| 方案 | 启动入口 | GPU / TP | 调度上限 | 推测解码 |
|---|---|---|---|---|
| 一 | ./start_one.sh |
8×A100 80GB / TP8 | 32 | 关闭 |
| 二(默认生产选择) | ./start_two.sh |
8×A100 80GB / TP8 | 32 | DSpark greedy k=7 |
本仓库及 GitHub Release 仅提供部署源码、补丁、配置与测试;不包含 Docker 镜像、模型权重、wheel 或编译缓存。以下启动命令要求另行准备已校验的离线运行镜像;源码构建入口见 r2/scripts/build_image.sh。
在项目根目录执行:
cp r2/config/secrets.env.example r2/config/secrets.env
# 编辑 secrets.env 的 MODEL_DIR 为完整模型权重目录的绝对路径;按需配置 API key。
./start_two.sh
./status_two.sh
./stop.sh固定配置位于 r2/config/release.env,最后加载,环境变量和 secrets.env 不能放大上下文。
前置环境:Ubuntu 22.04 x86_64,8×A100 80GB,NVIDIA Driver >=580.126.20,
Docker 与 NVIDIA Container Toolkit。完整离线镜像包含运行依赖,不包含宿主驱动及模型权重。
API 地址为 http://127.0.0.1:8005/v1;Docker 客户端通过 bridge gateway 访问。
保留原有同机及 Docker bridge 发布范围;默认不监听宿主 LAN 地址。
方案切换会停止当前项目标签匹配的另一方案,两方案不同时占用同一组 GPU。 256K 是每条请求输入与输出的合计上限;C32 是调度上限,不等于保证 32 路满上下文并发。 原生模型 config.json 可有更大的位置容量,服务启动参数仍严格限制为 256K。
压测默认输入轴为 32K/64K/128K/192K/230K,输出 10K/20K/30K,共 60 格。
运行证据存放于 /var/tmp/dsv4-a100-r2.3-256k-20260908;不能复用旧长上下文结果。
本次构建机无 NVIDIA GPU,不将静态验证标记为目标机推理通过。
镜像:dsv4-a100:20260830-r2.3-sm80。
源码:cf7898691b58820a8ba98e018f612d4a0c2f69f0。
研发用 k sweep 保留为显式基准工具;日常方案二默认 k=7。