大模型测评III:音频与全模态基准
1. 音频基准
2. 全模态基准
2.1 情感理解
| 名称 | 发布时间 | 简介 | 规模 | 评测指标 |
|---|---|---|---|---|
| 2020 年 | 面向真实场景的面部表情识别基准,涵盖复杂光照、面部遮挡和姿态变化等干扰;原始视频音轨可用于扩展音视频情绪识别。 | 视频片段:16,372 平均时长:3.42 秒 | UAR / WAR | |
| Jiang et al. DFEW: A Large-Scale Database for Recognizing Dynamic Facial Expressions in the Wild. ACM MM, 2020. 数据集构成:从全球 1,500 多部高清电影中采集 16,372 个动态面部表情视频片段,覆盖不同场景及复杂自然环境。视频平均时长约 3.42 秒,时长主要集中在 2–5 秒;单标签子集的时长分布为 0–2 秒 4,056 个、2–5 秒 5,734 个、5 秒以上 2,269 个。 标注形式:每个视频由 10 名独立标注者标注,提供 Happy、Sad、Neutral、Angry、Surprise、Disgust 和 Fear 七类情绪的投票分布。对获得超过 6 票一致支持的主导情绪进行筛选,得到 12,059 个单标签样本。 模态扩展:原始论文主要使用 RGB 视频进行动态面部表情识别;原始电影视频也可提取音轨。后续 AVERE(ICLR 2026)将 DFEW 用于音视频情绪识别评测,采用 24 FPS 视频和 16 kHz 单声道音频作为联合输入。 评测指标与划分:UAR(Unweighted Average Recall)衡量各情绪类别的平均识别能力,WAR(Weighted Average Recall)衡量整体识别准确率。实验采用 5-fold Cross-Validation:数据分为五个互不重叠的子集,每次用一个子集测试、其余四个子集训练。 | ||||
| 2023 年 | 包含三个评测赛道:MER-MULTI 联合预测离散情绪类别与连续情绪效价;MER-NOISE 评估噪声干扰下的模态鲁棒性;MER-SEMI 利用未标注视频进行半监督情绪识别。 | 视频片段:78.2K 平均时长:3.3 秒 | Weighted F1 / Combined Score | |
| Lian et al. MER 2023: Multi-label Learning, Modality Robustness, and Semi-Supervised Learning. ACM MM, 2023. 论文链接。 数据集构成:基于 CHEAVD 扩展构建,包含 Train&Val(3,373)、MER-MULTI(411)、MER-NOISE(412)和 MER-SEMI(834 个标注样本及 73,148 个未标注样本),共计 78,178 个视频片段。平均时长约 3.3 秒,视频主要来源于中文电影和电视剧中的人物情绪表达片段。 标注形式:提供离散与维度情绪标注。离散情绪包括 Neutral、Anger、Happiness、Sadness、Worry 和 Surprise 六类;维度情绪标注为 Valence 连续分数,表示情绪从消极到积极的程度,并非完整的 Valence-Arousal-Dominance(VAD)三维标注。
评测指标:MER-MULTI 和 MER-NOISE 使用 Combined Score:F1weighted − 0.25 × MSEvalence,综合衡量离散情绪分类与连续效价预测;MER-SEMI 仅评估离散情绪识别,采用 Weighted Average F-score。数据规模和视频时长依据论文 Table 1,情绪类别与标注形式依据论文第 2 页。 | ||||
| 2024 年 | 包含三个评测赛道:MER-SEMI 利用大规模未标注视频进行半监督情绪识别;MER-NOISE 评估音频噪声和图像模糊干扰下的情绪识别鲁棒性;MER-OV 引入开放词汇情绪识别,允许模型自由生成情绪标签。 | 视频片段:120.6K MER-OV:332 时长:2–16 秒 | WAF / Set-level Accuracy | |
| Lian et al. MER 2024: Semi-Supervised Learning, Noise Robustness, and Open-Vocabulary Multimodal Emotion Recognition. MRAC @ ACM MM, 2024. 论文链接。 数据集构成:在 MER 2023 基础上扩展,包含 Train&Val(5,030)、MER-SEMI(1,169 个标注样本及 115,595 个视频片段)、MER-NOISE(1,170 个标注样本及 115,595 个视频片段)和 MER-OV(332 个样本)。视频主要来源于中文电影和电视剧,经过视频切分、人脸检测及身份一致性筛选,片段时长为 2–16 秒。 标注形式:MER-SEMI 和 MER-NOISE 使用 Worried、Happy、Neutral、Angry、Surprised 和 Sad 六类离散情绪标签。MER-OV 采用开放词汇标注,不限制情绪类别和标签数量,每个样本平均约有 3 个情绪标签。
评测指标:MER-SEMI 和 MER-NOISE 使用 Accuracy 和 Weighted Average F1-score(WAF),其中 WAF 为最终排名指标。MER-OV 使用 Set-level Accuracy 和 Set-level Recall,并以二者平均值作为最终指标;计算前会通过语义归并处理不同表达但含义相同的情绪标签。 | ||||
| 2023 年 | 基于 MER 2023 的中文影视片段构建可解释多模态情绪识别任务,要求模型结合视觉、音频和文本线索生成情绪解释,并识别开放词汇情绪标签。 | 视频片段:332 平均时长:3.78 秒 | Accuracy / Recall / Avg | |
| Lian et al. Explainable Multimodal Emotion Recognition. arXiv:2306.15401, 2023(2024 年修订)。 论文链接。 数据集构成:从 MER 2023 中选取 332 个中文影视视频片段,包含视频、音频和字幕三种模态。先由 GPT-4V 生成视觉线索描述并经两轮人工校验,再由 GPT-3.5 结合多模态线索消除字幕歧义,构建可解释情绪描述(EMER Description)。平均视频时长为 3.78 秒。 标注形式:情绪解释涵盖面部表情、身体动作、声学特征及文本语义,并从中提取开放词汇情绪标签。不同于传统六类离散情绪标注,EMER 不限制情绪类别,共有 301 种候选标签,每个样本平均约 3 个标签。 评测指标:将模型生成的情绪描述转换为开放词汇情绪标签集合,经同义词归并后计算集合级 Accuracy 和 Recall,并以两者的算术平均值 Avg 作为主要排名指标。另提供 BLEU-1、BLEU-4、METEOR 和 ROUGE-L 衡量生成描述与参考描述的文本相似性。 | ||||