通过人工、多感官集成神经元使 AI 更智能

猫毛的触感可以透露一些信息，但看到猫能提供关键的细节:它是家猫还是狮子?虽然劈啪作响的声音可能是模糊的，但它的气味证实了木头在燃烧。我们的感官协同作用，以提供一个全面的理解，特别是当个别信号是微妙的。生物输入的总和可能大于它们个人的贡献。机器人倾向于遵循更直接的加法，但宾夕法尼亚州立大学的研究人员现在已经将生物学概念应用于人工智能(AI)，开发了第一个人工多感官集成神经元。

由宾夕法尼亚州立大学工程科学和力学副教授Saptarshi Das领导的研究小组在9月15日的《自然通讯》上发表了他们的研究成果。

Saptarshi Das说:“机器人根据它们所处的环境做出决定，但它们的传感器通常不会相互交流。集体决策可以通过传感器处理单元做出，但这是最有效的方法吗?在人脑中，一种感觉可以影响另一种感觉，让人更好地判断情况。”

例如，一辆汽车可能有一个传感器扫描障碍物，而另一个传感器感知黑暗来调节前灯的强度。这些传感器单独将信息传递到一个中央单元，然后指示汽车刹车或调整前灯。Saptarshi Das说，这个过程消耗更多的能量。允许传感器之间直接通信可以在能量和速度方面更有效——特别是当两者的输入都很微弱的时候。

“生物学使小生物能够在资源有限的环境中茁壮成长，在此过程中最大限度地减少能源消耗，”Saptarshi Das说。“对不同传感器的要求是基于环境的——在黑暗的森林里，你更依赖于听觉而不是视觉，但我们不会仅仅根据一种感觉做出决定。我们对周围的环境有完整的感觉，我们的决策是基于我们所看到的、听到的、触摸到的、闻到的等等的综合。感官在生物学中是一起进化的，但在人工智能中是分开进化的。在这项工作中，我们希望结合传感器，模拟我们大脑的实际工作方式。”

该团队专注于集成触觉传感器和视觉传感器，以便在视觉记忆的帮助下，一个传感器的输出可以修改另一个传感器的输出。Muhtasim Ul Karim Sadaf是一名工程科学和力学专业的三年级博士生，他说即使是短暂的闪光也能显著提高在暗室中成功移动的几率。

Sadaf说:“这是因为视觉记忆随后会影响和帮助导航的触觉反应。如果我们的视觉和触觉皮层只对它们各自的单峰信号做出反应，这是不可能的。我们有一种光记忆效应，只要有光，我们就能记住。我们通过晶体管将这种能力整合到设备中，从而提供相同的响应。”

研究人员通过将触觉传感器连接到基于单层二硫化钼的光电晶体管上，制造了多感觉神经元。二硫化钼是一种具有独特电学和光学特性的化合物，可用于检测光和支持晶体管。这种传感器产生电尖峰的方式让人想起处理信息的神经元，使其能够整合视觉和触觉线索。

这就相当于看到炉子上的灯亮着，就能感觉到燃烧器发出的热量——看到灯亮着并不一定意味着燃烧器已经热了，但一只手只需要感受到一纳秒的热量，身体就会做出反应，把手从潜在的危险中拉开。光和热的输入触发了诱发手部反应的信号。在这种情况下，研究人员通过观察视觉和触觉输入线索产生的信号输出来测量人工神经元的这种版本。

为了模拟触摸输入，触觉传感器使用了摩擦电效应，即两层相互滑动产生电力，这意味着触摸刺激被编码为电脉冲。为了模拟视觉输入，研究人员将一束光照射到单层二硫化钼光电晶体管中——或者是一个能记住视觉输入的晶体管，就像一个人在快速闪光照亮房间后能记住房间的大致布局一样。

他们发现，当视觉和触觉信号都较弱时，神经元的感觉反应(模拟为电输出)会增强。

“有趣的是，这种效应与它的生物对应物产生了非常好的共鸣——视觉记忆自然地增强了对触觉刺激的敏感性，”工程科学和力学专业三年级博士生Najam U Sakib说。“当线索较弱时，你需要将它们结合起来，以更好地理解信息，这就是我们在结果中看到的。”

Saptarshi Das解释说，人工多感觉神经元系统可以提高传感器技术的效率，为更环保的人工智能应用铺平道路。因此，机器人、无人机和自动驾驶汽车可以更有效地导航他们的环境，同时使用更少的能源。

“微弱的视觉和触觉线索的超级加法总和是我们研究的关键成就，”工程科学和力学专业四年级博士生Andrew Pannone说。“对于这项工作，我们只考虑了两种感觉。我们正在努力确定合适的场景，将更多的感官结合起来，看看它们能带来什么好处。”