上原亞衣 肛交 DeepSeek V3 详备解读：模子&Infra 成就

一、布景上原亞衣 肛交

本着求真求实的作风，咱们这里详备先容一下 DeepSeek V3 时期施展中的关节时期，也补充了一些细节；探究到仍是许多著述提到 DeepSeek V3 的各式评估方针，咱们这里就不再赘述，聚焦在模子结构和 Infra 成就两个部分。

对应的论文为：[2412.19437] DeepSeek-V3 Technical Report [1]

对应的代码库为：GitHub - deepseek-ai/DeepSeek-V3 [2]

部安分容在咱们之前的著述中详备先容过，可以参考：

“AI闲话”的 2024 年终转头

幻方 AI DeepSeek 模子背后的万卡集群成就

大范围散布式 AI 模子磨真金不怕火系列——人人并行

大范围散布式 AI 模子磨真金不怕火系列——活水线并行

万字综述 LLM 磨真金不怕火中的 Overlap 优化：字节 Flux 等 7 种决策

万字综述：全面梳理 FP8 磨真金不怕火和推理时期

万字综述：全面梳理 FP8 磨真金不怕火和推理时期 -- 附录

FP8 预磨真金不怕火确切练习了吗：一些本质和分析

Meta 多头 LLM：速率和后果兼得，3 倍推理加快

LLaMA 3 时期施展解读：全面梳理 LLM 联系时期栈

二、节录

DeepSeek-V3 是一个 MoE（Mixture-of-Experts）话语模子，总参数目 671B，每个 Token 激活的参数目为 37B。为阻隔高效磨真金不怕火与推理，DeepSeek-V3 延续了 DeepSeek-V2 的 MLA（Multi-head Latent Attention）及 DeepSeekMoE 架构。此外，DeepSeek-V3 创举了无需扶持亏损的负载平衡政策，还使用了多 Token 展望磨真金不怕火见地以增强性能。

作家在 14.8T 高质料 Token 上对 DeepSeek-V3 进行预磨真金不怕火，随后通过监督微调与强化学习阶段充分挖掘后来劲。全面评估显现，DeepSeek-V3 高出了其他开源模子，性能与开头的闭源模子极度。尽管推崇出色，DeepSeek-V3 的齐备磨真金不怕火仅需 2.788M H800 GPU 小时，且磨真金不怕火过程额外判辨，通盘过程莫得遇到不可规复的 Loss Spike 或进行任何回滚操作。

三、模子架构3.1 模子结构概览

如下图 Figure 2 所示，DeepSeek-V3 的模子结构与 DeepSeek-V2 一致，依然是 MLA + DeepSeekMoE，总参数 671B，激活参数 37B。系数 61 层，Hidden 维度为 7168：

MLA：

Attention Head 个数 nh：128

每个 Head 的维度 dh：128（需要说明的是，非 MLA 时，一般 nh * dh = Hidden 维度；而 MLA 中并不是这样，dh 会大于 Hidden 维度 / nh，比如这里 128 > 7168/128 = 56）

KV 压缩维度 dc：512

Q 压缩维度 d’c：1536

解耦的 Q 和 K（RoPE）的维度 dRh：64

MoE：

前 3 层 Transformer Layer 的 FFN 保执为 Dense 结构（1 个人人），后续 Layer 的 FFN 替换为 MoE 结构。

MoE 中包含 1 个分享人人（Share Expert）和 256 个路由人人（Routed Expert），每个人人的 Hidden 维度为 2048。每个 Token 激活 8 个路由人人，况兼确保每个 Token 最多被发送到 4 个节点。

MTP：

MTP 的深度 D 为 1，也即是除了精准展望下一个 Token 外，每个 Token 还额外展望一个 Token。

图片

3.2 MLA

如下图公式 1-11 列出了 MLA 中的关节公式，咱们在这里标注了相应的 Shape 信息，以便与上图中相对应：

图片

图片

图片

如上图可知，关于每一个 Token，推理时在每一个 Transformer Layer 需要需要缓存的 Cache 为蓝色的两个方块，大小为 512+64=576。而圭表 MHA 需要缓存的大小为 2 * Hidden 维度 ，即 2*7168=14336，也即是 DeepSeek V3 的 MLA 的 Cache 大小唯一 MHA 的 1/25。

3.3 MoE3.3.1 无需扶持亏损的负载平衡政策

具体来说，作家给与了 DeepSeek AI 论文 [2408.15664] Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts [3] 中的负载平衡政策，具体来说，其通过动态更新每个人人的偏置（b）来保管人人的负载平衡，而不会引入额外的侵扰梯度。如下图公式 16 和 Figure 1 所示：

图片

图片

3.3.2 补充的序列级扶持亏损

尽管 DeepSeek-V3 主要依赖于无扶持亏损的政策来阻隔负载平衡，但为了防患在职何单一序列中出现极点的扞拒衡，作家给与了一种补充的序列级平衡亏损：

图片

其中，α 为平衡因子超参数，T 示意序列中 Token 个数，Nr 示意人人个数，Topk 示意聘用分数最大的 Kr 个人人，

图片

示意一个序列中归一化后第 t 个 Token 在第 i 个人人的分数。1(⋅) 示意教唆函数，其值为 1 示意某条款成立，为 0 示意不成立，比如第 t 个 Token 未在人人 i 的 Topk 中，则值为 0。

本色上，Pi 可以会通为每个人人在统统 Token 上的平平分数，fi 示意第 i 个人人在通盘序列中的“被选中”频率，用来斟酌它的负载相关于其他人人的散布情况。这种序列级平衡亏损的目的是饱读舞每个序列中的人人负载愈加平衡，幸免负载蚁集在少数人人上，从而提高模子的遵守和公正性。

3.3.3 节点敛迹路由

与 DeepSeek-V2 所给与的开拓敛迹路由访佛，DeepSeek-V3 相似使用了一种敛迹路由机制以适度磨真金不怕火过程中的通讯支出。简而言之，作家确保每个 Token 最多被发送至 M 个节点，这些节点的聘用依据是散布在各节点上的人人中，其亲和度得分最高的 Kr/M 项之和。在此敛迹下，MoE 磨真金不怕火框架委果能够阻隔狡计与通讯的完全重迭。

3.3.4 无 Token 丢弃

成绩于高效的负载平衡政策，DeepSeek-V3 在通盘磨真金不怕火过程中保执了细腻的负载平衡。因此，DeepSeek-V3 在磨真金不怕火时期未丢弃任何 Token。此外，作家还实施了特定的部署政策以确保推理过程中的负载平衡，故 DeepSeek-V3 在推理阶段相似不会丢弃 Token。

3.4 MTP3.4.1 MTP 阻隔

受 Meta 的 [2404.19737] Better & Faster Large Language Models via Multi-token Prediction [4]（如下图所示，咱们之前也先容过）的启发，作家在 DeepSeek V3 中使用了多 Token 展望（Multi Token Predicton，MTP）见地，该见地将展望范围彭胀到每个位置上的多个异日 Token。有两个自制：

增强了磨真金不怕火信号的密度，可能教化数据运用遵守。

未必能使模子事前磋议其表征，以便更好地展望异日 Token。

图片

如下图 Figure 3 展示了 MTP 的具体阻隔。与上图 Meta 论文中给与孤苦输出 Head 并行展望 D 个额外 Token 不同，作家给与轨则展望额外 Token 的姿色，并在每一展望深度保执齐备的因果链。

其中的 Main Model 即是圭表的 Next Token Prediction。

MTP Module 1 用于展望下下一个 Token，MTP Module 2 用于展望下下下一个 Token（与 LLM 推理中常见的多头投契采样念念路一致）。

MTP Module 中的输入王人包含两个部分，一个是上一个 Module 的 Output Head 的输入，以及上一个输入 Token，况兼其中的 Embedding Layer 和 Output Head 王人是分享自 Main Model，唯一新增的 RMSNorm + Linear Projection 和一个 Transformer Block。由于这里有两个输入分别经过 RMSNorm 后 Concat 到一齐，因此需要一个额外的 Linear Projection 进行降维，保执维度一致。

图片

3.4.2 MTP 推理

MTP 政策主要用于教化 Main Model 的性能，因此在推理阶段，可以径直断念 MTP Module，Main Model 仍能孤苦且平时开动。此外，还可将这些 MTP Module 用于投契解码，以进一步裁减生成延长。

四、Infra 成就4.1 狡计集群

DeepSeek V3 在包含 2048 H800 GPU 的集群上磨真金不怕火，每个节点包含 8 个 H800 GPU，并使用 NVLink + NVSwitch 阻隔全互联（需要说明的是，H800 的 NVLink 带宽为 400 GB/s，而 H100 的 NVLink 带宽为 900 GB/s，这亦然 H800 与 H100 的主要区别）。此外，节点间通过 IB 麇集阻隔互联。

PS：作家在后文中提到其 NVLink 提供了 160 GB/s 的通讯带宽，梗概是 IB（50 GB/s）的 3.2x。其 160 GB/s 与本色的 400 GB/s（双向）不符，算计这里是单向实测带宽。如下图所示，咱们在 8*H100 GPU 上实测单向的 device to device Memory 带宽，梗概为 900 GB/s * 80% / 2 = 360 GB/s。而 160 GB/s 为 400 GB/s * 80% /2 = 160 GB/s。

图片

而 IB（50 GB/s）可以会通为表面或本色 NIC 带宽，H100/H800 上后向麇集频繁王人会给与 400 Gb/s 的 NIC。如下图所示（使用 ib_write_bw 和 ib_read_bw 测试），当 Message 比较大时，发送或者接收实测带宽最大王人能达到 400 Gb/s，双向总带宽可以达到 800 Gb/s（这一丝与 NVLink 口径不同）。另外，也可以算计每个节点包含 8 个 400 Gb/s 的 NIC。

图片

4.2 磨真金不怕火框架4.2.1 概览

DeepSeek V3 使用自研的 HAI-LLM 框架磨真金不怕火（在幻方 AI 的时期博客有先容：HAI-LLM：高效且轻量的大模子磨真金不怕火器具 [5]），其相应的散布式政策为：16 PP（Pipelining Parallelism），64 EP（Expert Parallelism）以及 ZeRO-1 DP（Data Parallelism）。此外，64 EP 散布在 8 个节点上。

为了高效磨真金不怕火，作家实施了概述的工程优化：

联想了 DualPipe 算法以阻隔高效的活水线并行。与现存 PP 按序比拟，DualPipe 具有更少的 PP Bubble。更紧要的是，它在 Forward 和 Backward 过程中 Overlap 了狡计与通讯，从而处理了跨节点 EP 引入的高通讯支出问题。

开发了高效的跨节点 All2All 通讯 Kernel，以充分运用 IB 和 NVLink 带宽，并检朴专用于通讯的 SM。

全心优化了磨真金不怕火过程中的内存支出上原亞衣 肛交，从而能够在无需使用奋斗的 TP（Tensor Parallelism）的情况下磨真金不怕火 DeepSeek-V3。

4.2.2 DualPipe 算法

关于 DeepSeek V3 而言，跨节点 EP 引入的通讯支出导致狡计与通讯比约为 1:1，遵守很低。为了嘱咐这一挑战，作家联想了一种立异的活水线并行算法 DualPipe。

DualPipe 的中枢念念想在于将一双孤苦的 Forward 与 Backward Chunk 内的狡计与通讯进行 Overlap。具体而言，将每个 Chunk 辞别为四个组件：Attention、All2All Dispatching、MLP 及 All2All Combining。

其中的 All2All Dispatching 和  All2All Combining 如下所示，即是 MoE Block 之前和之后的两个 All2All 通讯：

图片

非常地，关于 Backward Chunk，作家模仿了 ZeroBubble（[2401.10241] Zero Bubble Pipeline Parallelism [6]），如下图 Figure 1 所示，Attention 与 MLP 均可进一步分为两部分：Backward for Input 及 Backward for Weight。此外，还有一个 PP 通讯组件。

图片

如下图 Figure 4 所示，针对一双 Forward 与 Backward Chunk，再行摆设这些组件，并手动调整 GPU SM 在通讯与狡计间的分拨比例。在此 Overlap 政策下，能够确保 All2All 和 PP 通讯在引申过程中完全避讳，其中：

橙色示意 Forward

绿色示意 Backward for Input

蓝色示意 Backward for Weight

紫色示意 PP 通讯

红色示意 Barrier 同步

图片

齐备的 DualPipe 退换如下图 Figure 5 所示，其给与双向 PP 退换，同期从活水线两头输入 Micro Batch，使得大部分通讯得以完全 Overlap（PS：8PP，双向 20 Micro Batch，反标的 10-19 的 10 个 Micro Batch 并莫得列出来，因此咱们用红色 10-19 补充了部分 Micro Batch）。这种 Overlap 还确保了跟着模子进一步彭胀，只须保执恒定的狡计与通讯比，仍可在跨节点部署细粒度人人的同期，阻隔近乎零的 All2All 通讯支出。

PS：平时来说是无法阻隔双向 PP 退换的，主淌若因为 Forward 引申轨则是从赶赴后，比如从 Layer 0，1，2，...，14，15，而 Backward 引申轨则是从后往前，比如 Layer 15，14，...，2，1，0。而常见 PP 中的 Layer 只会在某一个 PP Stage，比如 8 PP，那么：

Stage 0 上有 Layer 0 和 1 的权重

Stage 1 上有 Layer 2 和 3 权重

Stage 7 上有 Layer 14 和 15 的权重

Forward 的轨则也只可从 Stage 0 到 Stage 7，不成从 Stage 7 到 Stage 0。

而 DeepSeek V3 的双向 PP 退换中，如故 8 PP 为例：

Stage 0 上有 Layer 0， 1 以及 Layer 14， 15 的权重

Stage 1 上有 Layer 2， 3 以及 Layer 12， 13 的权重

Stage 7 上有 Layer 14， 15 以及 Layer 0， 1 的权重

极度于有 2 份交流的模子副本，Forward 的轨则可以从 Stage 0 到 7，也可以从 Stage 7 到 0。

图片

此外，即便在通讯职守不重的更一般场景下，DualPipe 仍展现出遵守上风。如下图 Table 2 所示，作家转头了不同 PP 决策下的 PP Bubble 与内存使用情况。与 ZB1P 比拟，DualPipe 在减少 PP Bubble 及优化内存占用方面推崇更佳。其中的 Parameter x2 是正如上述所示，存储了 2 份交流的模子参数，也就需要占用更大的内存（激活的占用也会稍稍加多），极度于用空间换时分；关联词，因为作家磨真金不怕火时给与了比较大的 EP，举座来说并不会加多太多内存占用。此外，DualPipe 仅要求 PP Stage 和 Micro Batch 可被 2 整除，无需 Micro Batch 可被 PP Stage 数整除。 

图片

PS：关于一个里面框架（HAI-LLM）而言，完全可以针对我方的硬件环境（集群）以及模子场景（MLA + MoE）制定私有化的优化决策，比如手动调整 SM 在狡计和通讯中的比例，从而得到比开源决策更优的性能。

4.2.3 高效跨节点 All2All 通讯

为了确保 DualPipe 具有满盈的狡计性能，作家定制了高效的跨节点 All2All 通讯 Kernel（包括 Dispatching 和 Combining），以检朴专用于通讯的 SM 数目。Kernel 的阻隔与 MoE Gating 算法及集群的麇集拓扑共同联想。

具体来说，在作家的集群中，跨节点 GPU 与 IB 完全互连，节点内通讯通过 NVLink 处理。NVLink 提供 160 GB/s 带宽，梗概是 IB（50 GB/s）的 3.2x。

为了有用运用 IB 和 NVLink 的不同带宽，作家将每个 Token 阻隔为最多被发送到 4 个节点，从而减少 IB 流量。

关于每个 Token，在作念前途由决策时，开头通过 IB 传输到其见地节点上具有交流节点内索引的 GPU。一朝到达见地节点，将努力确保它通过 NVLink 立即转发到承载见地人人的特定 GPU，而不会被随后到达的 Token 梗阻。（PS：比如说，节点 A 上 GPU 0 的 Token 要发送到节点 B 上的 GPU 3，则对应的旅途为：节点 A GPU 0 -> 节点 B GPU 0 -> 节点 B GPU 3。这样作念是因为高性能 GPU 磨真金不怕火集群接续会给与轨谈优化，同号 GPU 在一个 Leaf Switch 下，如下图所示，因此可以运用高速的 NVLink 来代替从 Leaf Switch 到 Spine Switch 的流量，从而裁减 IB 通讯时延，况兼减少 Leaf Switch 和 Spine Switch 之间的流量）

图片

通过上述姿色，IB 和 NVLink 的通讯也可以完全 Overlap，每个 Token 可以有用地为每个节点平均聘用 3.2 个人人，而不会产生 NVLink 的额外支出。这意味着，尽管 DeepSeek V3 在本质中只聘用了 8 个路由人人，但它可以将这个数字彭胀到最多 13 个人人（4 个节点 × 3.2 个人人/节点），同期保执交流的通讯本钱。总的来说，在这样的通讯政策下，只用 20 个 SM 足以充分运用 IB 和 NVLink 的带宽。

具体而言，作家给与了 warp specialization 时期，并将 20 个 SM 辞别为 10 个通讯通谈。

在 All2All Dispatching 过程中，（1）InfiniBand（IB）发送、（2）IB 至 NVLink 转发，以及（3）NVLink接收分别由相应的 warp 处理。分拨给每项通讯任务的 warp 数目会左证统统 SM 的本色责任负载进活动态调整。

相似，在 All2All Combining 过程中，（1）NVLink 发送、（2）NVLink 至 IB 转发与累加，以及（3）IB 接收与累加也由动态调整的 warp 负责处理。

此外，Dispatching 与 Combining Kernel 均与狡计流 Overlap 引申，因此作家也探究了它们对其他 SM 狡计 Kernel 的影响。非常地，作家使用定制化的 PTX 指示，自动调整通讯 Chunk 大小，从而显贵减少 L2 Cache 的使用量及对其他 SM 的侵扰。

4.2.4 裁减内存支出

为裁减磨真金不怕火过程中的内存占用，作家给与了以下时期技巧。

RMSNorm 与 MLA 上投影重狡计。在 Backward 阶段，对统统 RMSNorm 操作及 MLA 上投影进行重狡计，从而无需执久化存储其输出激活值。此政策虽引入一丝额外狡计支出，却显贵减少了存储激活值所需的内存空间。

CPU 中的指数出动平均（EMA）。磨真金不怕火时期，为了在学习率衰减后尽早评估模子性能，作家保留了模子参数的 EMA。这些 EMA 参数存储于 CPU 内存中，并在每一步磨真金不怕火后异步更新。该按序使作家能在不加多额外内存或时分支出的前提下休养 EMA 参数。

MTP 的分享 Embedding 与输出 Head。给与 DualPipe 政策，作家将模子的最浅层（含 Embedding）与最深层（含输出 Head）部署于归并 PP Stage 上。这种安排使得 MTP Module 与 Main Model 之间能够物理分享 Embedding 与输出 Head 的参数及梯度。这一物理分享机制进一步教化了内存使用遵守（PS：也即是 Huggingface Transformers 中的 tie_word_embeddings）。

4.3 FP8 磨真金不怕火4.3.1 概述

NVIDIA 和零一万物等王人先容过在 Hopper GPU 上使用 FP8 磨真金不怕火来教化磨真金不怕火速率的决策（咱们在之前的著述中也有详备的先容）。受此启发，作家也在磨真金不怕火 DeepSeek V3 的过程中给与了 FP8 的细粒度搀和精度磨真金不怕火。

作家通过与两种不同范围基线模子的 BF16 磨真金不怕火进行对比，考证了建议的 FP8 搀和精度框架的有用性。

在小范围实验中，磨真金不怕火了一个包含约 16B 总参数的基线 MoE 模子，使用约 1.33T Token。

在大范围实验中，磨真金不怕火了一个包含约 230B 总参数的基线 MoE 模子，使用约 0.9T Token。

如下图 Figure 10 展示了其磨真金不怕火弧线，说明给与高精度累加和细粒度量化政策后，相对差错历久保执在 0.25% 以下。

图片

4.3.2 搀和精度框架

作家的 FP8 搀和精度磨真金不怕火框架中，大多数狡计密集型操作以 FP8 引申，而少数关节操作则保留其原始数据形式，以平衡磨真金不怕火遵守与数值判辨性。举座框架如下图 Figure 6 所示。

开头，为加快模子磨真金不怕火，关节狡计 Kernel（比如，GEMM 操作）大多给与 FP8 精度阻隔。这些 GEMM 操作接管 FP8 Tensor 动作输入，并输出 BF16 或 FP32 形式的阻隔。如下图 Figure 6 所示，与线性算子联系的三个 GEMM 操作，包括 Forward（Fprop）、激活 Backward（Dgrad）和权重 Backward（Wgrad），均以 FP8 引申。这一联想表面上使狡计速率较原 BF16 按序教化一倍。此外，FP8 Wgrad GEMM 允许激活值以 FP8 存储，供 Backward 使用，从而显贵裁减内存破钞。

图片

尽管 FP8 形式具有用率上风，但某些算子因对低精度狡计比较敏锐仍需更高精度。同期，一些低本钱算子也可给与更高精度，对举座磨真金不怕火性能的影响一丁点儿。因此，作家对以下组件保执原始精度（如 BF16 或 FP32）：Embedding Module、输出 Head、MoE 门控模块、归一化算子及 Attention 算子。这些有针对性的高精度保留确保了 DeepSeek-V3 的磨真金不怕火动态判辨性。为进一步保证数值判辨性，作家将主权重、权重梯度和优化器情景以更高精度存储。尽管这些高精度组件带来一定的内存支出，但通过散布式磨真金不怕火系统中跨多个 DP Rank 的有用分片，其影响很小。

4.3.3 教化精度

作家还引入了些许政策以教化低精度磨真金不怕火的准确性，要点在于量化按序与乘法过程的优化。

细粒度量化。由于 FP8 形式动态范围有限，上溢和下溢是常见的挑战。圭表作念法是 Per Tensor 量化，会导致低精度磨真金不怕火对激活额外值极为敏锐，严重裁减量化精度。为处理此问题，作家建议了一种细粒度量化按序。如下图 7a 所示：

关于激活值，以 1x128 的 Tile 为单元（比如，每 Token 每 128 Channel）进行分组与缩放；

关于权重，以 128x128 的 Block 为单元（即，每 128 输入 Channel 每 128 输出 Channel）进行分组与缩放。

此按序通过更小的元素组调整缩放比例，确保量化过程能更好地合乎额外值。

图片

该按序的关节更恰是在 GEMM 操作中引入按组缩放因子。不外，这一功能在圭表的 FP8 GEMM 中并未径直复古。关联词，结合精准的 FP32 累加政策，它可以被高效阻隔。值得讲求的是，这里的细粒度量化政策与 Microscaling Format（[2310.10537] Microscaling Data Formats for Deep Learning [7]）的理念高度一致，而 NVIDIA 下一代 GPU（Blackwell 系列）的 Tensor Core 已通知复古具有更小量化粒度的 Microscaling Format。

教化累加精度。低精度的 GEMM 操作常靠近下溢问题，其准确性很猛进程上依赖于高精度的累加，频繁给与 FP32 进行。关联词，作家不雅察到，在 NVIDIA H800 GPU 上，FP8 GEMM 的累加精度仅能保留约 14 位，远低于 FP32 的累加精度。当里面维度 K 较大时，这一问题愈加隆起，这在大范围模子磨真金不怕火中尤为常见。以 K=4096 的两个立时矩阵的 GEMM 操动作例，在作家的初步测试中，Tensor Core 受限的累加精度导致最大相对差错接近 2 %。尽管如斯，有限的累加精度仍是部分 FP8 框架的默许选项，严重制约了磨真金不怕火精度。

为处理此问题，作家给与了 Cutlass（GitHub - NVIDIA/cutlass: CUDA Templates for Linear Algebra Subroutines [8]）中的决策，借助 CUDA Core 以获取更高精度。具体来说，该过程如上图 7b 所示，在 Tensor Core 上引申 MMA，中间阻隔以有限位宽累加。一朝达到 Nc 间隔，这些中间阻隔将被复制到 CUDA Core 的 FP32 寄存器中，进行全精度的 FP32 累加。然后可以结合前边的细粒度量化，沿里面维度 K 应用每组的缩放因子。这些缩放因子在 CUDA Core 上高效地动作反量化过程进行乘法运算，额外狡计本钱极低。

值得讲求的是，这一修改会裁减单个 WGMMA（Warpgroup Level 矩阵乘加）指示辐照率。但在 H800 架构上，频繁两个 WGMMA 会同期存在：当一个 Warpgroup 引申 promotion 操作时，另一个可引申 MMA 操作。此联想阻隔了两个操作的 Overlap 引申，确保了 Tensor Core 的高运用率。左说明验数据，设定 Nc 为 128 个元素，极度于 4 次 WGMMA 操作组成最小累加间隔，这一竖立能在不引入显贵支出的前提下显贵教化狡计精度。

余数优先于指数。与先前有计划给与的搀和 FP8 形式不同，该形式在前向传播中使用 E4M3（4 位指数和 3 位余数），在数据梯度和权重梯度中使用 E5M2（5 位指数和 2 位余数），作家则对统统 Tensor 给与 E4M3 形式以追求更高精度。此按序可行主淌若使用了细粒度的量化政策，通过对更小的元素组进行操作，可以有用地在这些分组元素间分享指数位，从而缓解了有限动态范围的影响。

在线量化。常见的 Tensor level 量化框架中给与 Delayed Scaling，通过保留先前迭代中的 amax（最大实足值）history 来推断现时值。为了确保量化 Scale 准确并简化框架，作家在线狡计每个 1x128 激活 Tile 或 128x128 权重 Block 的 amax，基于此推导出 scaling 因子，随后在线将激活或权分量化为 FP8 形式。

如下图为 NVIDIA Transformer Engine 中的 Delayed Scaling 阻隔断策，其 amax history 最多可以存储 1024 个 history。在进行现时 Tensor 的 Scaling 操作时，会使用现时 Tensor 之前的 amax history 来展望现时的 amax（比如之前 history 的最大值），然后进行 Scaling 操作；Scaling 操作的同期管帐算现时的 amax，并更新 amax history。

图片

4.3.4 低精度存储和通讯

作家还通过将缓存的激活值和优化器情景压缩为低精度形式，进一步减少内存破钞和通讯支出。

低精度优化器情景。给与 BF16 而非 FP32 来存储 AdamW 优化器中的一阶矩和二阶矩，而不会引起可不雅察到的性能下落。关联词，主权重（由优化器存储）和梯度仍使用 FP32 存储，以确保通盘磨真金不怕火过程中的数值判辨性。

低精度激活。如上图 Figure 6 所示，Wgrad 操作使用 FP8 引申。为了减少内存破钞，作家将激活值以 FP8 形式缓存用于线性算子的 Backward。不外，关于低本钱高精度磨真金不怕火，会对几个算子特殊处理：

Attention 算子后的线性算子输入。这些激活值也用于 Attention 算子的 Backward，其对精度比较敏锐。作家成心为这些激活值定制了 E5M6 数据形式。此外，在 Backward 过程中，这些激活值将从 1x128 量化 Tile 转机为 128x1 Tile。为了幸免引入额外的量化差错，统统缩放因子均为四舍五入的 2 的整数幂。

MoE 中 SwiGLU 算子的输入。为了进一步裁减内存本钱，作家缓存了 SwiGLU 算子的输入，并在 Backward 时再行狡计其输出。这些激活值也以 FP8 形式存储，给与细粒度量化按序，可以在内存遵守和狡计精度之间取得平衡。

低精度通讯。在 MoE 模子磨真金不怕火中，通讯带宽是一个关节瓶颈。为缓解这一挑战，作家在 MoE 上投影前将激活量化为 FP8，随后应用 Dispatching，这与 MoE 上投影中的 FP8 Forward 兼容。如同 Attention 算子后线性层的输入，此激活的缩放因子为 2 的整数幂，访佛政策也应用于 MoE 下投影前的激活梯度。关于 Forward 和 Backward 的 Combining，保执其 BF16 形式，以确保磨真金不怕火历程关节部分的磨真金不怕火精度。

4.4 推理部署

作家在 H800 集群上部署 DeepSeek-V3，其中每个节点内的 GPU 通过 NVLink 互连，而集群中的统统 GPU 则通过 IB 阻隔全互联。为了同期确保在线处事的 SLO 和高混沌量，作家给与了以下部署政策，该政策将 Prefill 阶段和 Decoding 阶段分离。

4.4.1 Prefill

Prefill 阶段的最小部署单元由 4 个节点组成，共 32 个 H800 GPU。

Attention 部分给与 4 TP 结合 SP（Sequence Parallelism），并与 8 DP 相结合。其较小的 TP 范围（4）阻隔了 TP 通讯的支出。

MoE 部分给与 32 EP，确保每个人人处理满盈大的 Batch Size，从而教化狡计遵守。

在 MoE 的 All2All 通讯中，给与与磨真金不怕火阶段交流的按序：开头通过 IB 在节点间传输 Token，然后通过 NVLink 在节点内的 GPU 间转发。非常地，关于浅层密集 MLP，给与 1TP 以检朴 TP 通讯支出。

为了阻隔 MoE 部分不同人人间的负载平衡，需确保每个 GPU 处理大致交流数目的 Token。作家引入了一种冗余人人部署政策，即对高负载人人进行复制并冗余部署。高负载人人基于在线部署时期汇集的统计数据检测并依期调整（如每 10 分钟一次）。细目冗余人人蚁集后，左证不雅察到的负载情况，在节点内的 GPU 间全心再行安排人人，长途在不加多跨节点 All2All 通讯支出的前提下，尽可能平衡各 GPU 的负载。关于 DeepSeek-V3 的部署，作家为 Prefill 阶段竖立了 32 个冗余人人。每个 GPU 除了底本承载的 8 个人人外（256/32），还将额外承载一个冗余人人。

此外，在 Prefill 阶段，为了提高混沌量并避讳 All2All 和 TP 通讯的支出，作家同期处理两个狡计责任量临近的 Micro Batch，将一个 Micro Batch 的 Attention 和 MoE 狡计与另一个 Micro Batch的 Dispatching 和 Combining Overlap 引申。

终末，作家还在探索一种动态人人冗余政策，其中每个 GPU 承载更多人人（举例，16 个人人，每次推理本事仅激活 9 个。在每层 All2All 操作启动前，及时狡计全局最优路由决策。鉴于 Prrefill 阶段波及多量狡计，狡计此路由决策的支出委果可忽略不计。

4.4.2 Decoding

在 Decoding 过程中，将分享人人视为路由人人之一。由此视角启航，每个 Token 在路由时会聘用 9 个人人，其中分享人人被视为高负载人人，历久被选中。Decoding 阶段的最小部署单元由 40 个节点组成，共 320 H800 GPU。

Attention 部分给与 4 TP 结合 SP，并与 80 DP 协同责任，而 MoE 部分则给与 320 EP。

MoE 部分，每个 GPU 仅承载一位人人，其中 64 个 GPU 负责承载冗余人人及分享人人。Dispatching 与 Combining 部分的 All2All 通讯通过 IB Direct P2P 传输阻隔，以阻隔低延长。此外，还运用 IBGDA 时期进一步裁减延长，教化通讯遵守。

与 Prefill 阶段访佛，基于在线处事的人人负载统计数据，在特定间隔内依期细目冗余人人蚁集。关联词，由于每个 GPU 仅承载一位人人，因此无需再行安排人人。作家也在探索 Decoding 阶段的动态冗余政策，但这需要对狡计全局最优路由决策的算法进行更为概述的优化，并与 Dispatching Kernel 交融以减少支出。

此外，为教化混沌量并遮蔽 All2All 通讯的支出，作家还在探索 Decoding 阶段同期处理两个狡计负载临近的 Micro Batch。与 Prefill 阶段不同，Attention 机制在 Decoding 阶段占据更大比例的时分破钞。因此，将一个 Micro Batch 的 Attention 狡计与另一个 Micro Batch 的 Dispatching + 人人搀和 + Combining Overlap。在 Decoding 阶段，每位人人处理的 Batch 范围相对较小（频繁不逾越 256 个 Token），此时瓶颈在于内存拜访而非狡计本人。鉴于人人搀和部分仅需加载单一人人的参数，内存拜访支出极低，故减少 SM 的使用不会显贵影响举座性能。因此，为幸免对 Attention 部分的狡计速率酿成影响，作家仅需为 Dispatching + 人人搀和 + Combining 分拨一丝 SM 资源。

4.5 磨真金不怕火本钱

DeepSeek V3 的磨真金不怕火本钱很低，如下图 Table 1 所示，系数磨真金不怕火 2788K H800 小时，按照每个 H800 每小时 2 好意思元的本钱，总本钱梗概为 560 万好意思元。

图片

关联词咱们也看到许多著述中宣称 “DeepSeek 把磨真金不怕火本钱打下来 99%”，如下图所示，其宣称 “LLaMA-3.1 的磨真金不怕火本钱逾越 5 亿好意思元”，Meta 确切这样拉胯吗？

图片

图片

如下图为 LLaMA 3.1 的磨真金不怕火本钱（来自 meta-llama/Llama-3.1-8B · Hugging Face [9]），以 LLaMA 3.1 405B 为主，其系数的磨真金不怕火本钱为 30.84M H100 GPU 小时：

图片

H800 比拟 H100 主淌若阉割了 NVLink 的通讯带宽，举座本钱并不会进出太大，比如 Pricing | Lepton AI [10]  每个 H100 每小时 3 好意思元。自建集群或者大范围租借频繁会低于这个数值，假定为 2.5 好意思元，那么 LLaMA 3.1 405B 的磨真金不怕火本钱应该为 30.84M * 2.5 = 7710 万好意思元，宣称 LLaMA 3.1 的磨真金不怕火本钱为 5 亿好意思元照实相配欠妥。

图片

除此除外，LLaMA 3.1 的磨真金不怕火本钱应该还包含实验、以及故障等问题导致的本钱支出，如果只探究有用磨真金不怕火时长，上述本钱应该会更低。

其实左证狡计量也可以简便预估出本钱差距应该在 10 倍左右，而不是 100 倍。

LLaMA 3.1 405B 和 DeepSeek V3 王人是 15T 左右 Token 磨真金不怕火。

H100 与 H800 算力交流，本钱进出不大。

MoE 的磨真金不怕火 MFU 频繁会比 Dense 模子更低，可是探究 DeepSeek 使用了 FP8 搀和精度磨真金不怕火，假定其等效 MFU 交流，也即是 FP8 搀和精度磨真金不怕火的加快对消了 MoE 的减慢。

中枢的本钱互异应该是激活参数的互异 405B vs 37B，梗概是 11 倍。

4.6 磨真金不怕火 MFU 预估4.6.1 狡计公式

左证每个 Token 狡计量（6N）、总的 Token 数，以及狡计资源就可以简略预估出磨真金不怕火的总时长。如下所示：

磨真金不怕火天数 = Token 数 * Ctoken / (GPU 数 * GPU FLOPs * MFU * 3600 * 24)

左证以上公式可以预估使用 8192 H100-80G GPU（BF16 FLOPs 为 989T），10T Token 数据磨真金不怕火 175B 模子的天数为 30 天，其中假定 MFU 为 50%：

10T*6*175B/(8192*989T*50%)/3600/24=30 天

4.6.2 DeepSeek V3 MFU

DeepSeek V3 模子比较特殊，包含了 MLA 和 MoE，统计每个 Token 的详备狡计量也相对复杂。关联词，探究到其中最主要的狡计仍是矩阵乘法，依然可以用 6N 来近似，不外这里的 N 为每个 Token 的激活参数，而不是总参数目。

左证上述公式也可以简略推出 DeepSeek V3 预磨真金不怕火的 MFU：

MFU = (Token 数 * Ctoken) / (磨真金不怕火天数 * GPU 数 * GPU FLOPs * 3600 * 24) 

MFU = (Token 数 * Ctoken) / (磨真金不怕火 GPU 小时数 * GPU FLOPs * 3600)

而 DeepSeek-V3 预磨真金不怕火 14.8T Token，在 2048 H800 GPU 磨真金不怕火了不到 2 个月（2664K GPU 小时， 3.7*24*2048*14.8=2692K），如果上述磨真金不怕火时长是纯正的有用磨真金不怕火时长，则可以估算其 MFU 为（按 BF16 狡计）：

(14.8T*37B*6) / (2664K*989T*3600) = 34.7%

除此除外，作家也提到其给与了 FP8 搀和精度磨真金不怕火，其磨真金不怕火速率频繁至少是纯 BF16 磨真金不怕火速率的 1.2x-1.3x，则对应 BF16 磨真金不怕火的 MFU 很可能在 20%-30% 之间。关于 DeepSeek V3 这种 MLA + 细粒度 MoE 的模子，也算是一个很可以的性能。

4.6.3 LLaMA-3.1 MFU

相应地，LLaMA 3.1 70B 系数磨真金不怕火了 15T Token，磨真金不怕火了 7.0M H100 小时，如果按照上述姿色推导出的 MFU 为：

(15T*70B*6) / (7000K*989T*3600)= 25.2%

同理，推算出 LLaMA 3.1 405B 的 MFU 为：

(15T*405B*6) / (30.84M*989T*3600)= 33.2%

关联词，作家在时期施展 The Llama 3 Herd of Models | Research - AI at Meta [11] 中提到，405B 模子磨真金不怕火的 MFU 也能达到 40% 左右。此外，左证咱们的教学，70B Dense 模子预磨真金不怕火的 MFU 应该在 40% 以上的水平。而上述狡计出 LLaMA 3.1 70B 的 MFU 唯一 25% 左右，那么很可能的原因是上述 7.0M H100 小时包含了实验，容错等时分。

图片

五、参考联结

https://arxiv.org/abs/2412.19437

https://github.com/deepseek-ai/DeepSeek-V3

https://arxiv.org/abs/2408.15664

https://arxiv.org/abs/2404.19737

https://www.high-flyer.cn/blog/hai-llm/

https://arxiv.org/abs/2401.10241

https://arxiv.org/abs/2310.10537

https://github.com/NVIDIA/cutlass

https://huggingface.co/meta-llama/Llama-3.1-8B

https://www.lepton.ai/pricing

https://ai.meta.com/research/publications/the-llama-3-herd-of-models/上原亞衣 肛交

第四色官网 本站仅提供存储处事，统统内容均由用户发布，如发现存害或侵权内容，请点击举报。