集成的视觉和语义神经网络模型解释了大脑中的人体对象识别

剑桥大学的神经科学研究人员将计算机视觉与语义相结合，开发出一种新模型，可以帮助更好地理解大脑中物体的处理方式。

人类识别物体的能力涉及两个主要过程，即对象的快速视觉分析和整个生命中获得的语义知识的激活。大多数过去的研究分别研究了这两个过程; 因此，他们的相互作用仍然很不清楚。

剑桥研究人员团队使用一种新方法研究了物体识别过程，该方法将深度神经网络与吸引子网络语义模型相结合。与之前的大多数研究相比，他们的技术既考虑了视觉信息，又考虑了有关物体的概念知识。

剑桥研究人员告诉Tech Xplore说：“我们之前曾与健康人和脑损伤患者进行了大量研究，以更好地了解物体在大脑中的处理方式。” “这项工作的主要贡献之一是表明理解物体是什么涉及视觉输入随着时间的推移迅速转变为有意义的表现形式，这种变革过程是沿着腹侧颞叶的长度完成的。”

研究人员坚信，访问语义记忆是理解对象是什么的关键部分，因此仅关注视觉相关属性的理论并不能完全捕捉到这个复杂的过程。

“这是当前研究的最初触发因素，我们希望充分了解低级视觉输入如何映射到对象意义的语义表示，”研究人员解释说。为此，他们使用了一个专门从事计算机视觉的标准深度神经网络，称为AlexNet。

他们解释说：“这个模型以及其他类似的模型可以非常精确地识别图像中的对象，但它们不包含任何关于对象语义属性的明确知识。” “例如，香蕉和猕猴桃的外观(不同的颜色，形状，质地等)非常不同，但是，我们正确地理解它们都是水果。计算机视觉的模型可以区分香蕉和猕猴桃，但它们不是编码更加抽象的知识，两者都是果实。“

研究人员承认神经网络对计算机视觉的局限性，将AlexNet视觉算法与神经网络相结合，神经网络将概念意义(包括语义知识)分析到方程中。

“在组合模型中，视觉处理映射到语义处理并激活我们关于概念的语义知识，”研究人员说。

他们的新技术在16名志愿者的神经影像数据上进行了测试，他们被要求在对象进行fMRI扫描时为其命名。与传统的深度神经网络(DNN)视觉模型相比，新方法能够识别与视觉和语义处理相关的大脑区域。

“这项研究最关键的发现是，通过考虑物体的视觉和语义属性，可以更好地模拟物体识别过程中的大脑活动，这可以通过计算建模方法捕获，”研究人员解释说。

他们设计的方法对大脑中语义激活的阶段进行了预测，这与先前的对象处理过程一致，其中更粗粒度的语义处理让位于更精细的处理。研究人员还发现，该模型的不同阶段预测了大脑对象处理途径的不同区域的激活。

“最终，人们如何有意义地处理视觉对象的更好模型可能具有实际的临床意义;例如，在理解语义痴呆等条件下，人们失去了对象概念意义的知识，”研究人员说。

在剑桥进行的研究是对神经科学领域的重要贡献，因为它展示了大脑的不同区域如何促进对象的视觉和语义处理。

研究人员补充说：“现在研究一个地区的信息如何转化为我们在大脑不同区域看到的不同状态至关重要。” “为此，我们需要了解连通性和时间动力学如何支持这些变革性神经过程。”