DeepSeek开源第四弹：并行优化策略3项齐开

2月27日消息，DeepSeek开源周第四日，DeepSeek开源了并行优化策略（Optimized Parallelism Strategies），一次开源了3项：

DualPipe：一种用于V3/R1模型训练中实现计算与通信重叠的双向流水线并行算法

EPLB：一个针对V3/R1的专家并行负载均衡工具

Profile-data：训练和推理框架的分析数据

GitHub地址：

https://github.com/deepseek-ai/DualPipe

https://github.com/deepseek-ai/eplb

https://github.com/deepseek-ai/profile-data

一、DualPipe

DualPipe是DeepSeek-V3技术报告中提出的一种创新双向流水线并行算法。

它能够实现前向与后向计算和通信阶段的完全重叠，同时有效减少流水线气泡（空闲时间）。

DeepSeek展示了在8个流水线并行阶段和20个micro-batches情况下，DualPipe在两个方向上的调度示例。（来自DeepSeek-V3技术报告）

反向方向的微批次与前向方向对称，为了简化图示，这里省略了反向方向的批次 ID。图中由同一个黑色边框包围的两个单元格具有相互重叠的计算和通信。

流水线气泡与内存使用比较

表中，消息称OpenAI推迟至明年上线GPT商城 因“意外忙碌”

IT之家12月2日消息，OpenAI首席执行官山姆・阿尔特曼（SamAltman）上月出席DevDay活动时，原计划12月推出称为“GPTStore”的在线平台，不过官方近日宣布推迟该商城平台上线计划。OpenAI推出GPTStore的初衷，是让客户...

5月29日消息，Canalys今日发布了一份关于《AI手机的现在和未来》的深度报告。报告指出，2024年全球16%的智能手机出货为AI手机，到2028年，这一比例将激增至54%。分析师认为，受消费者对AI助手和端侧处理等增强功能需...

8月12日消息，今年2月OpenAI发布文生视频模型Sora，其逼真而富有想象力的视频生成能力给大家带来AI震撼。Sora虽然能生成60s视频，但是并未对外开放使用，被视频业者戏称为“期货”。国内AI生视频的产品研发脚步也加...

最新的一项由微软与卡内基梅隆大学研究人员合作的研究表明，人类对于AI工具的过度依赖可能会对其批判性思维能力造成损害，并降低独立解决问题的能力。该研究对319名知识工作者进行了调查，探讨了他们在工作中如何使...

2月21日消息，据《智能涌现》昨日援引“多名独立信源”消息，李开复创立的AI独角兽零一万物，近日内部发生多处变动：计划拆分数字人业务，由零一万物数字人业务研发负责人杨昌鹏带队。零一万物AI视频混剪项目负责人...