新闻动态

LAIR实验室在面部动作单元识别方面的研究取得重要进展

2022-07-01

情感智能机器人实验室(LAIR)合作撰写的学术论文“Pursuing Knowledge Consistency: Supervised Hierarchical Contrastive Learning for Facial Action Unit Recognition”被2022年ACM国际多媒体会议ACM MM(ACM International Conference on Multimedia)接收。该论文由LAIR北京实验室(北京大学计算机学院)与阿里巴巴达摩院合作完成,第一作者为北京实验室博士生陈颖婕,陈冲(阿里巴巴)、王韬(北京大学)担任共同通讯作者。实验室论文已连续两年在ACM MM发表或被接收。

 

Pursuing Knowledge Consistency: Supervised Hierarchical Contrastive Learning for Facial Action Unit Recognition

论文作者:陈颖婕,陈冲+,罗霄,黄建强,华先胜,王韬+,梁云。(+为共同通讯作者)

 

随着人们对情感分析需求的不断增加,面部动作单元(AU)识别作为情感计算的一项基本任务受到了越来越多的关注。尽管近年来,深度学习将AU识别的性能提升到了一个新的水平,但由于AU引起的外观变化在不同对象之间是微妙且模糊的,因此提取对象一致性表征仍然具有挑战性。我们观察到,AUs之间存在三种内在关系,它们可以被视为强先验知识,追求这些知识的一致性是学习对象一致性表征的关键。为此,我们提出了一种用于AU识别的有监督分层对比学习方法(SupHCL),以追求不同面部图像和不同AU之间的知识一致性,该方法与关注网络结构设计的方法是正交的。具体而言,SupHCL包含三个关系一致性模块,即一元、二元和多元关系一致性模块,它们将相应类型的内在关系用作额外的监督,以鼓励AU层级和图像层级表示的知识一致性分布。在两个常用的AU基准数据集BP4D和DISFA上进行的实验证明了每个关系一致性模块的有效性和SupHCL的优越性。

ACM 国际多媒体会议(ACM International Conference on Multimedia)是计算机科学多媒体领域的首要国际会议,CCF-A类推荐会议,每年举办一次。ACM MM 2022将于2022年10月10日-14日在葡萄牙里斯本举办。