大模型测评III:音频与全模态基准



1. 音频基准


2. 全模态基准

2.1 情感理解

名称 发布时间 简介 规模 评测指标
2020 年 面向真实场景的面部表情识别基准,涵盖复杂光照、面部遮挡和姿态变化等干扰;原始视频音轨可用于扩展音视频情绪识别。 视频片段:16,372
平均时长:3.42 秒
UAR / WAR
2023 年 包含三个评测赛道:MER-MULTI 联合预测离散情绪类别与连续情绪效价;MER-NOISE 评估噪声干扰下的模态鲁棒性;MER-SEMI 利用未标注视频进行半监督情绪识别。 视频片段:78.2K
平均时长:3.3 秒
Weighted F1 / Combined Score
2024 年 包含三个评测赛道:MER-SEMI 利用大规模未标注视频进行半监督情绪识别;MER-NOISE 评估音频噪声和图像模糊干扰下的情绪识别鲁棒性;MER-OV 引入开放词汇情绪识别,允许模型自由生成情绪标签。 视频片段:120.6K
MER-OV:332
时长:2–16 秒
WAF / Set-level Accuracy
2023 年 基于 MER 2023 的中文影视片段构建可解释多模态情绪识别任务,要求模型结合视觉、音频和文本线索生成情绪解释,并识别开放词汇情绪标签。 视频片段:332
平均时长:3.78 秒
Accuracy / Recall / Avg