Deepseek开源FlashMLA：高效MLA解码内核，专为Hopper GPU优化

RookieTnT

Deepseek今日开源FlashMLA，这是一款专为Hopper GPU设计的高效MLA（多层级注意力）解码内核。FlashMLA针对变长序列进行了优化，支持BF16数据类型，并采用分页KV缓存（块大小为64），显著提升了计算效率。

在H800 GPU上，FlashMLA实现了高达3000 GB/s的内存带宽和580 TFLOPS的计算性能，适用于大规模语言模型推理任务。这一创新技术将加速AI推理过程，为自然语言处理等领域带来更高效的解决方案。

overflowal

真·源神梁圣来教云服务商怎么加速推理

orecheng

是不是对N卡底层越了解，就越能破解限制，说不定哪天4090 5090限制全开，1TB显存直接往上怼

名居守

不是很懂，意思是让第三方的D老师更好用？

精钢魔像

名居守 发表于 2025-2-24 12:51
不是很懂，意思是让第三方的D老师更好用？

可能是比nv提供的sdk效率更高

RookieTnT

名居守 发表于 2025-2-24 12:51
不是很懂，意思是让第三方的D老师更好用？

主要用来优化模型训练的效率的

论坛助手,iPhone

小野賢章

今天应该是这个
https://github.com/deepseek-ai/DeepEP

Hikiyaga⑧man

算利好nv吧

—— 来自 鹅球 v3.3.96-alpha

bixinhaner

今天这个deepeEP看不懂了，有课代表吗

overflowal

bixinhaner 发表于 2025-2-25 11:48
今天这个deepeEP看不懂了，有课代表吗

通信库，用来给集群用的。

—— 来自 鹅球 v3.3.96

RookieTnT

DeepSeek开源周第 3 天：DeepGEMM

DeepGEMM 是一个用 CUDA 编写的库，旨在实现干净高效的具有细粒度缩放的 FP8 通用矩阵乘法（GEMM），支持普通和混合专家（MoE）分组 GEMM。安装时无需编译，通过轻量级即时（JIT）模块在运行时编译内核。
https://github.com/deepseek-ai/DeepGEMM

UNICORN00

利好老黄

子虚乌有

虽然我不懂但是我觉得好牛逼

苏西踩我了

老黄啊，你的硬件还凑合，软件就不行了，来，我教你怎么优化

—— 来自 鹅球 v3.3.96

RookieTnT

DeepSeek 开源周第 4 天：DualPipe、EPLB 优化并行策略

2月27日，DeepSeek 在其“开源周”进度中发布了优化并行策略的项目。此次更新包括：

DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。

EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。

计算-通信重叠分析：分享 V3/R1 中的训练和推理数据，帮助社区理解计算-通信重叠策略。

论坛助手,iPhone