Skip to content

About

Source-only offline deployment, testing, and operations toolkit for DeepSeek-V4-Flash-0731 on 4x/8x NVIDIA A100 GPUs, pinned to a reviewed community vLLM R1 stack.

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

14 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

R2.3 固定 256K 部署(2026-09-08)

当前方案一和方案二均固定为 262144 tokens(输入 + 输出合计),只保留 deepseek-v4-flash、deepseek-v4-flash-claude 两个 API 名称。二者共享同一引擎、权重与 KV cache。

方案 启动入口 GPU / TP 调度上限 推测解码
一 ./start_one.sh 8×A100 80GB / TP8 32 关闭
二(默认生产选择) ./start_two.sh 8×A100 80GB / TP8 32 DSpark greedy k=7

本仓库及 GitHub Release 仅提供部署源码、补丁、配置与测试;不包含 Docker 镜像、模型权重、wheel 或编译缓存。以下启动命令要求另行准备已校验的离线运行镜像;源码构建入口见 r2/scripts/build_image.sh。

在项目根目录执行:

cp r2/config/secrets.env.example r2/config/secrets.env
# 编辑 secrets.env 的 MODEL_DIR 为完整模型权重目录的绝对路径;按需配置 API key。
./start_two.sh
./status_two.sh
./stop.sh

固定配置位于 r2/config/release.env,最后加载,环境变量和 secrets.env 不能放大上下文。 前置环境:Ubuntu 22.04 x86_64,8×A100 80GB,NVIDIA Driver >=580.126.20, Docker 与 NVIDIA Container Toolkit。完整离线镜像包含运行依赖,不包含宿主驱动及模型权重。

API 地址为 http://127.0.0.1:8005/v1;Docker 客户端通过 bridge gateway 访问。 保留原有同机及 Docker bridge 发布范围;默认不监听宿主 LAN 地址。

方案切换会停止当前项目标签匹配的另一方案,两方案不同时占用同一组 GPU。 256K 是每条请求输入与输出的合计上限;C32 是调度上限,不等于保证 32 路满上下文并发。 原生模型 config.json 可有更大的位置容量,服务启动参数仍严格限制为 256K。

压测默认输入轴为 32K/64K/128K/192K/230K,输出 10K/20K/30K,共 60 格。 运行证据存放于 /var/tmp/dsv4-a100-r2.3-256k-20260908;不能复用旧长上下文结果。 本次构建机无 NVIDIA GPU,不将静态验证标记为目标机推理通过。

镜像:dsv4-a100:20260830-r2.3-sm80。 源码:cf7898691b58820a8ba98e018f612d4a0c2f69f0。 研发用 k sweep 保留为显式基准工具;日常方案二默认 k=7。

About

Source-only offline deployment, testing, and operations toolkit for DeepSeek-V4-Flash-0731 on 4x/8x NVIDIA A100 GPUs, pinned to a reviewed community vLLM R1 stack.

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages