近日，上海对外经贸大学统计与信息学院2021级应用统计专业研究生臧健翔同学和导师刘慧副教授的合作论文《Modeling Selective Feature Attention for Lightweight Text Matching》在第33届国际人工智能联合会议（IJCAI 2024）发表，两人赴韩国参加会议报告论文。这是我校师生首次在计算机领域顶级会议发表学术论文。

 臧健翔在会议上作学术报告，与会人员围绕特征注意力问题进行了热烈交流。

 International Joint Conference of Artificial Intelligengce (简称IJCAI)系列会议自1969年起开始举办，是人工智能领域历史最悠久的学术会议，也是国际公认的人工智能领域的两大顶级综合会议之一。IJCAI会议是中国计算机学会（CCF）推荐的A类国际学术会议，列为我校的国际二类期刊。IJCAI一直是录用率最低的计算机顶级会议，本年度论文录用率仅为14%。

 我院高度重视和支持师生的科研能力培养和国际学术交流，参加本次会议促进了与计算机领域学者的学术交流，加强了我院与国内外高校、研究机构的联系，开阔了学院师生的学术视野，也为我院专业建设和人才培养发挥了重要作用。

内容简介

 基于表征的孪生网络因其低部署和推理成本而在轻量级文本匹配领域备受青睐。大量基于孪生网络的匹配工作引入了丰富词级别注意力机制以提高下游交互，本工作进一步提出了一种创新的下游模块——特征注意力（FA），首次在文本匹配领域建模了词嵌入特征之间依赖。通过采用“挤压-激励”技术，FA模块动态调整特征级别的聚焦，使网络能够更多地关注对最终分类贡献显著的特征。在此基础上，本工作引入了一种动态“选择”机制，形成选择性特征注意力（SFA）。SFA模块利用了堆叠的双向GRU Inception结构，通过遍历不同的堆叠双向GRU层实现多尺度语义提取，鼓励网络自适应选择性地关注不同抽象层次的语义信息和嵌入特征。FA和SFA模块均可与各种孪生文本网络无缝集成，具有即插即用的特点。本工作在不同文本匹配基线模型和基准上对建模FA和SFA进行评估，大量结果展现了特征注意力建模的必要性以及“选择”机制的优越性。

 文章链接：

 https://www.ijcai.org/proceedings/2024/732

 项目代码：

 https://github.com/hggzjx/SFA

作者简介

 臧健翔，统计与信息学院2021级应用统计专业硕士研究生，主要研究领域为文本表示学习、LLM对齐。在学期间发表CCF-A类论文1篇，CCF-B类论文1篇，CCF-C类论文2篇。获校优秀学位论文奖。

 刘慧，统计与信息学院计算机与人工智能系副教授。主要研究领域为自然语言处理。主持完成教育部人文社会科学项目1项，在IEEE TSMCB、IJCAI、ECAI等国内外重要学术刊物和会议上发表论文40余篇。