创佳网 > 资讯 > AI资讯 >DeepSeek开源周第二天：DeepEP引领MoE模型通信效率革新

DeepSeek开源周第二天：DeepEP引领MoE模型通信效率革新

kuaima2025-02-25 15:48:10TechWeb.com.cn

今天是DeepSeek开源周的第二天，DeepSeek团队如约发布了开源代码库DeepEP，这是一款专为MoE（Mixture of Experts）模型设计的EP（Efficient Parallelism）通信库，它的出现为MoE模型的训练和推理提供了专门的通信工具，解决了大规模分布式AI训练和实时推理场景中效率低下的问题。

以下是DeepEP的一些技术性能特点简要介绍：

1. 高效通信架构：DeepEP支持全对全通信模式的优化，实现了节点内和节点间的NVLink与RDMA互联，显著提升了数据传输的效率。

2. 多精度与调度优化：DeepEP原生支持FP8低精度运算调度，有效降低计算资源的消耗。

3. 重性能内核：高吞吐量内核设计，适用于训练和推理预填充场景，最大化数据处理能力。

4. 低延迟内核：针对推理解码场景，采用纯RDMA通信和自适应路由技术，有效减少延迟。

5. 资源控制与重叠机制：通过灵活的GPU资源控制策略，实现计算与通信过程的高效重叠，避免资源闲置。

6. 深度优化场景：对NVLink到RDMA的非对称带宽转发场景进行专项优化，提升异构网络下的传输性能。

此外，DeepEP还支持SM（Streaming Multiprocessors）数量的动态控制，以平衡不同任务（如训练与推理）的吞吐量需求。（Suky）

讯飞翻译机双十一夺冠：AI大模型赋能跨语言交流新模式

今年双十一正式落幕，根据科大讯飞官方数据，双11全周期销售额同比增长65%，讯飞翻译机包揽京东、天猫、抖音品类全周期销售额冠军。在全球化和国际化加速的大背景下，跨境贸易、旅游、文化交流等活动日益频繁，翻译...

CES 2025周二晚开始 主题涵盖AI、机器人、智慧城市、智能家居等

1月6日消息，据外媒报道，按计划，2025年度国际消费类电子产品展览会，也就是CES2025，将于当地时间1月7日至10日，在内华达州拉斯维加斯举行。CES2025从当地时间1月7日持续到10日，也就意味着为期4天的展会明晚就将...

库克能靠AI打开iPhone第二春吗

布局AI技术半年后，苹果终于推出了原生支持AI的手机产品。北京时间2024年9月10日凌晨，苹果举办主题为“高光时刻”的秋季新品发布会，发布了年度旗舰产品iPhone16系列，喊出了“Hello，AppleIntelligence”的口号。...

OpenAI投资机器人软件开发商Physical Intelligence 贝索斯也有参投

11月6日消息，有多家外媒在当地时间周二的报道中称，OpenAI已重启机器人团队，并招募到了曾在苹果、Meta工作的CaitlinKalinowski，由她担任机器人和消费类硬件项目的负责人。而除了重启2020年解散的机器人团队，Open...

iPhone 16生成式AI功能合作伙伴可能包括百度 消息称双方已有探讨

3月24日消息，据外媒报道，在OpenAI训练的人工智能聊天机器人ChatGPT大火之后，谷歌、Meta、亚马逊等公司纷纷加大了在生成式人工智能和大型语言模型研发及应用上的投入，已有多款应用引入了相关的技术，微软去年2月...
TAG：DeepSeek AI
上一篇：被指精简AI投入成本“退租数据中心”，微软回应称“资本支出没变、可能做出某些调整”
下一篇：DeepSeek API充值重新开放，调整模型调用价格