据 ChainCatcher 报道,Deepseek 于开源周第四天宣布开源优化并行策略。

其中包括 DualPipe,一种用于 V3/R1 训练中计算-通信重叠的双向管道并行算法。

此外,还包括 EPLB,一种用于 V3/R1 的专家并行负载平衡器,以及分析 V3/R1 中的计算-通信重叠。