使用消融来检查人工神经网络的结构

亚琛工业大学机械工程信息管理研究所的一组研究人员最近探索了神经科学技术的使用，以确定人工神经网络(ANNs)中信息的结构。在他们的论文中，预先发表在arXiv上，研究人员应用了一种称为消融的技术，该技术需要在神经网络架构上切除部分大脑以确定其功能。

“我们的想法受到神经科学领域研究的启发，其中一个主要目标是了解我们的大脑是如何工作的，”两位研究人员Richard Meyes和Tobias Meisen通过电子邮件告诉TechXplore。“在消融研究中发现了许多关于大脑功能的见解，这种方法是大脑的特定部分以受控方式受到严重损害，影响大脑执行日常任务的能力，例如产生言语或动作。”

Meyes，Meisen和他们的同事Peter Lillian进行的这项研究的目的是从生物学角度审视人工神经网络，评估其结构和不同组成部分的功能。他们决定使用消融技术做到这一点，这是一项在神经科学研究中使用的技术已有二百多年了。

基本上，消融包括选择性地去除或破坏大脑特定区域的组织，其唯一目的是观察这种损伤的行为影响，从而更好地理解这些区域的功能。在几项研究中已经对人工神经网络进行了消融，但这些研究主要集中在调整网络层并改变其结构，因此更像是参数搜索而非生物消融。

图片来源：Lillian，Meyes和Meisen。

在他们的研究中，研究人员希望破坏人工神经网络的各个部分并观察它们如何影响他们的表现。最终，他们希望利用这些观察结果来比较人工神经网络的组织与生物神经网络的组织。

“人工神经网络(ANNs)消融背后的想法很简单，”Meyes和Meisen解释道。“首先，我们训练网络执行特定任务，例如识别手写数字。其次，我们切断了网络的一小部分，并评估网络性能如何因损坏而发生变化。第三，我们确定是否存在损坏损坏部分的位置与其对网络性能的影响之间的关系。这样，我们发现网络的特定能力，例如执行受控机器人的前向运动，是局部表示的并且可以有目的地被破坏。 “

通过消除训练有素的人工神经网络导航线圈并检查这些干预措施如何影响他们的输出，研究人员收集了许多有趣的发现，表明人工和生物网络之间确实存在联系和相似之处。这些相似之处与网络如何自我安排以及如何存储信息有关。

删除每个消融组时，将保存不包含该组的输出。在对每组进行消融后，研究人员最终得到了一个输出列表，显示了网络部件移除后网

“我们最有趣的发现是观察到网络损坏的性能通常会降低，而网络的非常具体的能力，例如识别特定数字，可以通过破坏特定部分来增强，”Meyes和Meisen说。“我们的研究表明神经网络的表现可以通过在正确的区域仔细破坏它来增加。此外，我们的研究表明神经科学方法在人工神经网络中的应用可能为理解人工智能开辟了新的视角。”

尽管Meyes，Meisen和Lillian收集了令人着迷的结果，但他们的研究有一些局限性，仅仅是检查生物和人工神经网络之间联系的第一步。例如，他们的实验受限于强化学习的使用，并依赖于实时机器人训练的模型。未来的研究可以更详细和更大规模地检查人工神经网络与大脑网络之间的相似性。

“我们现在计划继续探索我们关于进行神经科学启发人工神经网络研究的总体思路，”Meyes和Meisen说。“我们接下来的步骤之一就是可视化人工神经网络中的活动，就像大脑活动可以通过fMRI等成像方法可视化一样。我们的目标是使人工神经网络的决策过程更加透明，并在人工智能中获得新的视角。一般。”