个性化的机器学习模型捕捉面部表情的微妙变化

麻省理工学院媒体实验室的研究人员开发了一种机器学习模型，它使计算机更接近于像人类一样自然地解释我们的情绪。

在“情感计算”这个不断发展的领域，正在开发机器人和计算机来分析面部表情，解释我们的情绪，并做出相应的反应。例如，应用程序包括监控个人的健康和福祉，衡量学生对课堂的兴趣，帮助诊断某些疾病的迹象，以及开发有用的机器人伴侣。

然而，挑战在于人们根据许多因素表达情绪的方式完全不同。在文化，性别和年龄组中可以看到一般差异。但是其他差异甚至更细微：一天中的时间，你睡了多少，甚至你对会话伙伴的熟悉程度都会导致你在某一特定时刻表达幸福或悲伤的方式发生微妙的变化。

人类的大脑本能地捕捉到这些偏差，但机器却在挣扎。近年来开发了深度学习技术以帮助捕捉微妙之处，但它们仍然不尽可能准确或适应不同人群。

媒体实验室的研究人员开发了一种机器学习模型，该模型在捕捉这些小的面部表情变化方面优于传统系统，可以在训练数千张面部图像时更好地衡量情绪。此外，通过使用一些额外的训练数据，该模型可以适应全新的一组人，具有相同的功效。目的是改进现有的情感计算技术。

“这是监控我们心情的一种不引人注目的方式，”媒体实验室研究员，合着作者Oggi Rudovic在一篇描述该模型的论文中说，该论文于上周在机器学习与数据挖掘会议上发表。“如果你想要具有社交智能的机器人，你必须聪明地做出这些机器人并自然地回应我们的情绪和情绪，更像人类。”

该论文的共同作者是：第一作者Michael Feffer，电气工程和计算机科学的本科生; 和Rosalind Picard，媒体艺术和科学教授，情感计算研究小组的创始主任。

传统的情感计算模型使用“一刀切”的概念。他们训练一组图像描绘各种面部表情，优化特征 - 例如唇部在微笑时如何卷曲 - 并将这些一般特征优化映射到整个新图像集。

相反，研究人员将一种名为“专家混合物”(MoE)的技术与模型个性化技术结合起来，这种技术帮助从个体中挖掘出更细粒度的面部表情数据。Rudovic说，这是第一次将这两种技术结合起来用于情感计算。

在MoE中，许多称为“专家”的神经网络模型都经过培训，专门从事单独的处理任务并产生一个输出。研究人员还整合了一个“门控网络”，它可以计算出哪位专家能够最好地检测看不见的科目情绪的概率。“基本上，网络可以辨别出个人并说'这是给定图像的合适专家'，”Feffer说。

对于他们的模型，研究人员通过将每个专家与RECOLA数据库中18个单独视频录制中的一个进行匹配来对MoE进行个性化，RECOLA数据库是一个人们在为情感计算应用设计的视频聊天平台上进行交谈的公共数据库。他们使用9个科目训练模型，并在其他9个科目上对其进行评估，所有视频分解为单独的帧。

每个专家和门控网络在剩余网络(“ResNet”)的帮助下跟踪每个人的面部表情，该网络是用于对象分类的神经网络。在这样做时，模型基于效价水平(愉快或不愉快)和唤醒(兴奋)对每个帧进行评分 - 通常使用的度量来编码不同的情绪状态。另外，六名人类专家根据-1(低水平)到1(高水平)的等级标记每个框架的价格和唤醒，该模型也用于训练。

然后，研究人员进行了进一步的模型个性化，他们从剩余的主体视频的某些帧中提供训练的模型数据，然后在这些视频的所有看不见的帧上测试模型。结果显示，只有5%到10%的数据来自新的人口，该模型大大优于传统模型 - 这意味着它在看不见的图像上获得了价值和唤醒，更接近人类专家的解释。

Rudovic说，这表明模型有可能从人口到人口，或从个人到个人，只有极少的数据。“这是关键，”他说。“当你有一个新的人口，你必须有办法解释数据分布的变化[微妙的面部变化]。想象一个模型集来分析一个文化中的面部表情，需要适应不同的文化。对于这种数据转换，这些模型将会表现不佳。但是如果你只是从一种新的文化中抽取一些来适应我们的模型，这些模型可以做得更好，特别是在个人层面。这就是模型个性化的重要性最好的地方可见。”

目前可用于这种情感计算研究的数据在肤色方面并不是很多，因此研究人员的训练数据是有限的。但是当这些数据可用时，可以训练模型以用于更多不同的人群。Feffer说，下一步是将模型训练为“一个更具多元文化的更大数据集”。

更好的机器 - 人机交互

研究人员说，另一个目标是训练模型，帮助计算机和机器人自动从少量变化的数据中学习，更自然地检测我们的感受，更好地满足人类的需求。

例如，它可以在计算机或移动设备的背景中运行，以跟踪用户的基于视频的对话，并在不同的环境下学习细微的面部表情变化。“你可以让智能手机应用程序或网站之类的东西能够说明人们的感受，并建议应对压力或疼痛的方法，以及其他对他们的生活产生负面影响的事情，”Feffer说。

这也可能有助于监测抑郁症或痴呆症，因为人们的面部表情往往因这些条件而微妙地改变。“能够被动地监控我们的面部表情，”Rudovic说，“随着时间的推移，我们可以将这些模型个性化给用户，并监控他们每天有多少偏差 - 偏离平均表情的平均水平 - 并使用它关于福祉和健康的指标。“

Rudovic说，一个很有前途的应用是人机器人互动，例如用于教育目的的个人机器人或机器人，机器人需要适应这些机器人来评估许多不同人的情绪状态。例如，一个版本被用于帮助机器人更好地解释自闭症儿童的情绪。

贝尔法斯特女王大学心理学荣誉退休教授，情感计算学者罗迪·考伊说，麻省理工学院的作品“说明了我们在这个领域的实际位置”。他说：“我们正在走向可以大致放置的系统，从人们的脸部照片，他们躺在从非常积极到非常消极，从非常活跃到非常被动的等级。” “一个人给出的情感符号与另一个人给出的符号不一样，这似乎很直观，因此情感识别在个性化时更有效，这很有意义。个性化的方法反映了另一个有趣的观点，即它训练多个“专家”并汇总他们的判断比训练一个超级专家更有效。两者一起制作了令人满意的包装。“