人工智能模型很强大，但它们在生物学上是否合理？

（A）拟议的神经元-星形胶质细胞网络的高级概述。变压器块近似于具有星形胶质细胞单元的前馈网络，该单元将突触包裹在隐藏层和最后一层（矩阵 H）之间。数据不断流入网络。（B）在写作阶段，神经元到神经元的权重使用Hebbian学习规则更新，神经元到星形胶质细胞的权重使用突触前可塑性规则更新。在读取阶段，数据通过网络转发，星形胶质细胞调节突触权重 H. 

人工神经网络是一种普遍存在的机器学习模型，可以训练它来完成许多任务，之所以被称为人工神经网络，是因为它们的架构受到了生物神经元处理人脑信息的方式的启发。

大约六年前，科学家们发现了一种新型的更强大的神经网络模型，称为变压器。这些模型可以实现前所未有的性能，例如通过以接近人类的准确性从提示中生成文本。转换器是人工智能系统的基础，例如ChatGPT和Bard。变压器虽然非常有效，但也很神秘：与其他受大脑启发的神经网络模型不同，目前尚不清楚如何使用生物组件构建变压器。

现在，来自麻省理工学院、MIT-IBM Watson人工智能实验室和哈佛医学院的研究人员提出了一个假设，可以解释如何利用大脑中的生物元素构建变压器。他们认为，由神经元和其他称为星形胶质细胞的脑细胞组成的生物网络可以执行与变压器相同的核心计算。

最近的研究表明，星形胶质细胞是大脑中丰富的非神经元细胞，与神经元交流，并在一些生理过程中发挥作用，如调节血液流动。但科学家们仍然对这些细胞在计算上的作用缺乏明确的了解。

本周发表在《美国国家科学院院刊》上的这项新研究，研究人员从计算的角度探讨了星形胶质细胞在大脑中的作用，并制作了一个数学模型，展示了如何将它们与神经元一起用于构建一个生物学上合理的转换器。

他们的假设提供了一些见解，可能会引发未来对人脑工作原理的神经科学研究。同时，它可以帮助机器学习研究人员解释为什么变压器在各种复杂任务中如此成功。

“大脑甚至比我们开发的最好的人工神经网络都要优越得多，但我们并不真正知道大脑是如何工作的。思考生物硬件和大规模人工智能网络之间的联系具有科学价值。”MIT-IBM Watson人工智能实验室的研究人员Dmitry Krotov说。

生物学上的不可能变得合理

变压器的运行方式与其他神经网络模型不同。例如，为自然语言处理训练的递归神经网络会将句子中的每个单词与由前一个单词确定的内部状态进行比较。另一方面，转换器一次比较句子中的所有单词以生成预测，这一过程称为自我注意。

Dmitry Krotov解释说，为了让自己的注意力发挥作用，转换器必须以某种形式的记忆准备好所有的单词，但由于神经元的交流方式，这在生物学上似乎是不可能的。

然而，几年前，研究一种略有不同类型的机器学习模型（称为密集相关记忆）的科学家意识到，这种自我注意机制可能发生在大脑中，但前提是至少有三个神经元之间存在交流。

Kozachkov说：“我真的想到了第三个数字，因为在神经科学中，这些被称为星形胶质细胞的细胞，不是神经元，与神经元形成三方连接，即所谓的三方突触。”

当两个神经元交流时，突触前神经元通过突触发送称为神经递质的化学物质，将其连接到突触后神经元。有时，星形胶质细胞也会相互连接——它将细长的触手包裹在突触周围，形成三重（三部分）突触。一个星形胶质细胞可以形成数百万个三方突触。

星形胶质细胞收集一些通过突触连接处流动的神经递质。在某个时刻，星形胶质细胞可以向神经元发出信号。因为星形胶质细胞比神经元在更长的时间范围内运作——它们通过缓慢升高钙反应然后降低钙反应来产生信号——这些细胞可以保存和整合神经元传递给它们的信息。Kozachkov说，通过这种方式，星形胶质细胞可以形成一种记忆缓冲区。

他补充道：“如果你从这个角度思考，那么星形胶质细胞对于我们在变形金刚内部进行注意力操作所需的精确计算来说是非常自然的。”

构建神经元-星形胶质细胞网络

有了这一见解，研究人员形成了他们的假设，即星形胶质细胞可能在变压器的计算中发挥作用。然后，他们着手建立一个神经元-星形胶质细胞网络的数学模型，该网络将像变压器一样运行。

他们采用了包括转换器的核心数学，并在深入研究文献和神经科学家合作者的指导下，开发了星形胶质细胞和神经元在大脑中交流时的简单生物物理模型。

然后，他们以某些方式将模型组合在一起，直到他们得出了一个神经元-星形胶质细胞网络的方程，该方程描述了变压器的自我注意。

Kozachkov说：“有时，我们发现某些我们想要成为真实的东西无法合理实现。因此，我们必须想出变通办法。论文中的一些东西是对变压器架构的非常仔细的近似，以便能够以生物学上合理的方式与之匹配。”

通过分析，研究人员表明，他们的生物物理神经元-星形胶质细胞网络理论上与变压器相匹配。此外，他们通过将图像和文本段落输入到转换器模型中，并将其响应与模拟的神经元-星形胶质细胞网络的响应进行比较，从而进行了数值模拟。两人都以相似的方式回应了提示，证实了他们的理论模型。

研究人员的下一步是从理论到实践的飞跃。他们希望将该模型的预测与生物学实验中观察到的预测进行比较，并利用这些知识来完善——或者可能推翻——他们的假设。

此外，他们研究的一个含义是，星形胶质细胞可能参与长期记忆，因为网络需要存储信息，以便在未来能够对其起作用。Krotov说，进一步的研究可能会进一步调查这个想法。

Kozachkov补充道：“由于很多原因，星形胶质细胞对认知和行为极其重要，它们的运作方式与神经元截然不同。我对这篇论文最大的希望是，它能催化计算神经科学中对神经胶质细胞，尤其是星形胶质细胞的一系列研究。”