即梦AI - 一站式AI创作平台

DeepSeek开源周第二天开源项目:Deepep通义千问干啥用的

昨天是DeepSeek ai人工智能的应用开源周第一天,开源的项目是FlashMLA最新ai,不到半小时,Github已经已经300多Star了,短短1小时就超过10W阅读,非常的火爆,今天是DeepSeek开源周的第二天,DeepSeek开源了第2个项目:Deepep。

DeepSeek开源了第2个项目:Deepep.webp

什么是Deepep?deeoseek

Deepep是一个用于MOE模型培训和推理的开源EP通信库。它基于先进的混合专家架构,充分利用了大规模数据集以提高其预训练和微调的有效性。DeepEP的设计导向是减少计算负担与内存使用,使得用户能够在常规硬件上有效运行大规模模型。扣子coze下载

Deepep的功能特点下一个豆包

MoE架构优化:小智ai官网入口

  • DeepEP专为Mixture-of-Experts (MoE) 和专家并行 (EP) 设计,提供高效的all-to-all GPU内核,适用于训练和推理任务。智谱ai开放平台

  • 支持低精度运算,包括FP8和BF16,提升计算效率,节省显存。ai介绍

高性能通信:下载并安装豆包

  • 提供高吞吐量和低延迟的通信内核,支持NVLink和RDMA网络。在H800 GPU上测试,最大带宽可达153 GB/s (NVLink) 和46 GB/s (RDMA)。下一个豆包

  • 针对NVLink到RDMA的非对称带宽转发场景进行了优化,确保高吞吐量表现。说的al官方下载

低延迟通信:小智ai官网入口

  • 提供纯RDMA的低延迟内核,特别适合推理解码阶段,延迟低至163微秒。deeoseek

  • 引入基于hook的通信-计算重叠方法,不占用GPU SM资源,最大化计算效率。下载并安装豆包

硬件优化:deeoseek

  • 利用未公开的PTX指令提升Hopper架构的性能。密鸽(al)

  • 支持InfiniBand网络,并理论上兼容RoCE,提供灵活的网络配置选项。人工智能的应用

Deepep的应用场景智谱ai开放平台

大规模模型训练:大魔王ai工具下载

  • 适用于Mixture-of-Experts (MoE) 模型的训练,提供高效的并行通信支持,显著提升训练效率。grok4.1

推理任务:ai未来十大趋势

  • 特别适合延迟敏感的推理解码场景,显著提升效率,降低延迟,提高推理吞吐量。人工智能的应用

高性能计算需求:密鸽(al)

  • 完美适配现代高性能计算需求,支持多种硬件平台,包括Hopper GPU架构,未来可能扩展更多设备。下一个豆包

Deepep的使用与集成阿里大模型

易用性:密鸽(al)

  • 支持Hopper GPU架构,需要Python 3.8+、CUDA 12.3+和PyTorch 2.1+环境。打开豆包打开豆包

  • 安装时需搭配团队修改版的NVSHMEM,安装指南详细。ai未来十大趋势

集成方式:大魔王ai工具下载

  • 开源且易于集成,只需几行命令即可构建并运行测试。deeoseek

  • 安装后导入deep_ep模块即可直接使用,提供示例代码和测试脚本。打开豆包打开豆包

DeepEP已在GitHub上开源,地址:https://github.com/deepseek-ai/DeepEP阿里大模型

1. DeepSeek开源周第一天开源项目:DeepSeek FlashMLA打开豆包打开豆包

收藏