蓝布编程网

分享编程技术文章,编程语言教程与实战经验

DeepSeek开源第三弹,300行DeepGEMM代码开源!仅支持英伟达Hopper架构运算,代码库设计非常简洁

新浪科技讯 2月26日上午消息,DeepSeek开源周(OpenSourceWeek)第三日,在宣布开源MLA解码核FlashMLA以及DeepEP两款代码库后,DeepSeek今日再次宣布开放了DeepGEMM代码库。

据DeepSeek方面介绍,DeepGEMM是专为简洁高效的FP8通用矩阵乘法(GEMMs)而设计,它同时支持普通的和专家混合(MoE)分组的GEMM运算。该库使用CUDA编写,在安装过程中无需编译,通过在运行时使用轻量级即时编译模块来编译所有内核。

目前,DeepGEMM仅支持英伟达Hopper架构运算,为解决FP8张量核心累加不精确的问题,它采用了CUDA核心的两级累加(提升)方法。该代码库设计非常简洁,只有一个核心内核函数,代码量约为300行。

来源:新浪网

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言