一个情绪深度对齐网络 用于对情绪进行分类和可视化

波兰 - 日本信息技术学院和华沙理工大学的研究人员开发了一种深度对齐网络(DAN)模型，用于对情绪进行分类和可视化。他们的方法在两个基准数据集上的表现优于最先进的情绪分类方法。

开发能够识别和分类人类情感的模型是机器学习和计算机视觉领域的关键挑战。大多数现有的情绪识别工具使用多层卷积网络，其在分类阶段没有明确地推断面部特征。

进行最近研究的研究人员Ivona Tautkute和Tomasz Trzcinski最初正在为一家位于加利福尼亚州的初创公司开发一个系统，该系统可以集成到自动驾驶汽车中。该系统能够根据从安装在汽车内部的单个摄像机提取的数据对乘客进行计数。

在稍后阶段，两位研究人员开始探索可能做得更多的模型，通过估计他们的年龄和性别来创建更广泛的乘客统计数据。这个系统的一个明显的扩展是它也可以检测面部表情和情绪。

“由于该系统将用于老年乘客，因此捕捉与驾驶员脱离相关的负面和积极情绪非常重要，”Tautkute解释说。“现有的情感识别方法远非完美，所以我们开始寻找有趣的新方法来改进。在与计算机视觉研究员Marek Kowalski讨论之后，我们想到了一个想法，他正在与深度对齐网络进行面部对齐(DAN)。面部地标的位置与表达的情感直接相关，因此我们很好奇我们是否可以建立一个将这两个任务结合起来的系统。“

由Tautkute和Trzcinski设计的模型 EmotionalDAN 是Kowalski的DAN模型的改编版，其中包括与面部特征相关的术语。由于这种修改，他们的模型同时学习了面部地标和表达情感的位置。

“我们通过一个负责情绪分类的术语扩展了原来DAN的损失功能来实现这一目标，”Tautkute说。“神经网络在连续阶段进行训练，可以改善面部地标和学习情绪。阶段之间还有信息传递，跟踪标准化的面部输入，特征地图和地标热图。”

在初步评估中，EmotionalDAN 在两个基准数据集(即CK +和ISED)上的表现优于最先进的分类方法 5%。在做出决定时，研究人员还能够通过模型分析图像区域。他们的观察表明，EmotionalDAN可以正确识别与人类情绪表达相关的面部标志。

“我们的研究真正有趣的是，即使我们不向网络提供任何与情绪相关的空间信息，该模型也能够自己学习在尝试理解面部表情时应该看到哪些区域，”Tautkute说过。“我们人类直观地看着一个人的眼睛和嘴巴注意到微笑或悲伤，但神经网络只能看到一个像素矩阵。验证哪些图像区域被激活用于给定的分类决策使我们更接近理解模型及其如何做出决定。“

尽管EmotionalDAN和其他情感识别工具取得了非常有希望的结果，但理解人类情感仍然是一项非常复杂的任务。虽然现有系统已经取得了显着的成果，但是当情绪在很大程度上得到表达时，它们主要能够这样做。

然而，在现实生活中，人类表达的情感线索往往更微妙。例如，一个人的幸福可能并不总是通过以宽阔的笑容展示所有牙齿来传达，但可能仅仅需要唇角的轻微移动。

“了解情感的更多主观方面以及他们的表达在个体之间的差异将会非常有趣，”Tautkute说。“为了更进一步，人们可以尝试将假情绪与真实情绪区分开来。例如，神经科医生说不同的面部肌肉涉及真实和假的微笑。特别是，眼睛肌肉在强迫表达中不收缩。这将是有趣的是使用从数据中学习的信息发现类似的关系。“