新技术可以将语言模型加速 300 倍

苏黎世联邦理工学院的研究人员开发了一种新技术，可以显着提高神经网络的速度。他们已经证明，改变推理过程可以大大降低这些网络的计算需求。

在BERT（一种用于各种语言任务的转换器模型）上进行的实验中，他们实现了超过99%的计算量的惊人减少。这种创新技术还可以应用于 GPT-3 等大型语言模型 （LLM） 中使用的转换器模型，为更快、更高效的语言处理开辟了新的可能性。

Transformer 是支撑 LLM 的神经网络，由多个层组成，包括注意力层和前馈层。后者占模型参数的很大一部分，由于需要计算所有神经元和输入维度的乘积，因此计算要求很高。

然而，研究人员的论文表明，并不是前馈层中的所有神经元都需要在每个输入的推理过程中都处于活动状态。他们建议引入“快速前馈”层（FFF）来替代传统的前馈层。

FFF 使用一种称为条件矩阵乘法 （CMM） 的数学运算，它取代了传统前馈网络使用的密集矩阵乘法 （DMM）。

在数字万用表中，所有输入参数都乘以网络的所有神经元，这个过程既计算密集又效率低下。另一方面，CMM处理推理的方式是，网络处理不需要超过几个神经元的输入。

通过为每个计算识别正确的神经元，FFF 可以显着降低计算负载，从而产生更快、更高效的语言模型。

为了验证他们的创新技术，研究人员开发了FastBERT，这是对谷歌BERT转换器模型的修改。FastBERT通过用快速前馈层取代中间前馈层来彻底改变模型。FFF 将其神经元排列成一个平衡的二叉树，根据输入有条件地只执行一个分支。

为了评估FastBERT的性能，研究人员对通用语言理解评估（GLUE）基准测试中的几个任务进行了不同的变体。GLUE 是一个全面的数据集集合，旨在训练、评估和分析自然语言理解系统。

结果令人印象深刻，FastBERT的性能与类似大小和训练程序的基础BERT模型相当。FastBERT 的变体在单个 A6000 GPU 上仅训练了一天，至少保留了原始 BERT 模型性能的 96.0%。值得注意的是，他们最好的FastBERT模型与原始BERT模型的性能相匹配，同时仅使用了0.3%的前馈神经元。

研究人员认为，将快速前馈网络整合到LLM中具有巨大的加速潜力。例如，在 GPT-3 中，每个转换器层中的前馈网络由 49,152 个神经元组成。

研究人员指出，“如果可训练，这个网络可以被一个最大深度为15的快速前馈网络所取代，该网络将包含65536个神经元，但仅使用16个神经元进行推理。这相当于 GPT-3 神经元的 0.03% 左右。

密集矩阵乘法（传统前馈神经网络中使用的数学运算）已经进行了重大的硬件和软件优化。

“密集矩阵乘法是计算史上最优化的数学运算，”研究人员写道。“在设计存储器、芯片、指令集和软件例程方面投入了巨大的努力，以尽可能快地执行它。其中许多进步——无论是出于复杂性还是出于竞争优势——都是保密的，并且只能通过强大但限制性的编程接口向最终用户公开。

相比之下，目前还没有条件矩阵乘法的高效、原生实现，这种操作用于快速前馈网络。没有流行的深度学习框架提供可用于在高级模拟之外实现 CMM 的接口。

研究人员开发了自己的基于 CPU 和 GPU 指令的 CMM 操作实现。这导致推理过程中的速度显着提高了 78 倍。

然而，研究人员认为，通过更好的硬件和算法的低级实现，推理速度可能会提高 300 倍以上。这可以显著解决语言模型的主要挑战之一——它们每秒生成的令牌数量。

研究人员写道：“在基于BERT的模型规模上，理论加速承诺为341倍，我们希望我们的工作能够激发人们的努力，将条件神经执行的基元作为设备编程接口的一部分。

这项研究是解决大型语言模型的内存和计算瓶颈的更广泛努力的一部分，为更高效、更强大的人工智能系统铺平了道路。