图1 AGF-IB模型架构

随着人机交互的快速发展，对话中的多模态情绪识别（MERC）任务开始受到广泛的研究关注。MERC任务是通过提取和融合不同模态的互补语义信息来对人类语言表达情感进行精准识别。针对现有跨模态特征融合方法无法消除不同模态之间的异质性，本研究提出了一种新的基于信息瓶颈的对抗对齐和图融合对话中的多模态情感识别（AGF-IB）模型。此项研究成果获得国家自然科学基金和湖南省教育厅科学研究项目的资助，该理论与技术成果可以广泛应用于多模态信息融合与人机交互等其他融合领域，为多模态数据处理提供相关理论指导和技术支撑。

本论文在多模态对话领域引入了创新方法，首次利用信息瓶颈理论实现模态间的异质性消除，填补了该理论在多模态实际应用中的空白。这一突破性的进展为信息瓶颈在多模态对话情感识别领域的应用开辟了新道路，提供了新思路。

该论文是以中南林业科技大学计算机与数学学院为第一署名单位，论文作者为国家林业和草原局“湘北平原防护林区林业生态大数据创新联盟”团队成员，合作单位包括阿联酋人工智能大学（尹楠博士）、纽约州立大学（李克勤教授，IEEE Fellow 、 AAIA Fellow）。这是我校首次以第一作者、第一通讯、第一署名单位在该期刊上发表学术成果。

近两年，学院孟涛博士、艾玮博士和团队成员杜家宜博士、魏晨老师先后发表高质量论文共9篇，其中，SCI 1区Top 5篇。仅2024年，论文新增引用330次以上。

代表论文相关链接：

https://doi.org/10.1016/j.inffus.2024.102590

https://ieeexplore.ieee.org/document/10509000

https://ieeexplore.ieee.org/document/10458270

https://ieeexplore.ieee.org/document/10612252

https://doi.org/10.1016/j.eswa.2024.124069