日前,由博士生孙凯丽等撰写的论文SDGIN: Structure-aware dual-level graph interactive network with semantic roles for visual dialog在国际人工智能知名期刊Knowledge-Based Systems发表，DOI: https://doi.org/10.1016/j.knosys.2023.111251

视觉对话是当前人工智能人机交互的热门问题。现有的方法要么专注于语义交互，要么隐式地捕捉粗粒度的结构交互。对话历史的细粒度和显式结构交互特征很少被探索，导致特征学习不足，难以捕捉精确的上下文。为了解决这些问题，我们提出了一种结构感知的双层图交互网络（SDGIN），该网络集成了特定于动词的语义角色和共指解析，以明确地捕捉视觉对话中判别和生成任务的上下文结构特征。我们创建了一个新的结构交互图，通过引入语义角色标记，暗示哪些单词是句子词干，将句法知识先验注入对话。此外，考虑到先前算法的单视角限制，我们设计了一种双视角机制，该机制并行学习细粒度令牌级上下文结构特征和粗粒度话语级交互。实验结果表明，与其他特定于任务的模型相比，我们的模型在基准数据集VisDial v1.0上实现了显著改进。

Knowledge-Based Systems是国际人工智能学界历史最久的知名期刊，最新影响因子8.8，属于中科院SCI一区top期刊，中国自动化学会推荐A类期刊。