美高梅官网自然语言处理团队研究生以第一作者在Journal of Intelligent & Fuzzy Systems期刊发表研究论文

2021年2月14日，美高梅官网正网“自然语言处理与智能软件技术”研究团队（简称：NLP团队）的最新研究成果“RoRePo: Detecting the Role Information and Relative Position Information for Contexts in Multi-turn Dialogue Generation”被《Journal of Intelligent & Fuzzy Systems》学术期刊录用，该期刊2020年的影响因子是1.851，属于中科院界定的SCI四区期刊。该论文的作者团队是甘子邦、曾碧卿（通讯作者）、程良伦（广东工业大学）、刘帅、杨恒、徐马一和丁美荣。

在研究过程中，该论文基于深度神经网络和能够感知相对位置的多头注意力机制，探索并成功解决了双人多轮对话系统模型的“角色模糊”问题以及对话上下文的相对位置信息编码问题，该论文成果填补了自然语言处理领域相关研究领域的空白。

该论文是在曾碧卿教授指导下完成的创新成果，该项研究成果在研究过程中得到了国家自然科学基金项目、广东省普通高校人工智能重点领域专项、广东省信息物理融合系统重点实验室建设专项、智能制造信息物理融合系统集成技术国家地方联合工程研究中心建设专项等项目的资助。

研究成果的主要模型图

基于上下文的开放域多轮对话回复生成研究是近年来兴起的热门研究方向，旨在开放的对话主题下，抽取多轮的对话上文，生成主题相关、信息量丰富和形式多样的下一轮对话文本，是一种自然语言生成的自然语言处理任务，相比于经典自然语言分类任务更为复杂，因对话本身的人机交互过程具有随意性，研究也更具挑战性。

该论文提出对话生成模型RoRePo，联合感知对话上下文相对位置的自注意力机制、融入潜变量和角色嵌入的解码器，使其具备同时提升生成回复相关性和多样性的能力。研究中，对该论文中所提出的创新模型，在2个常用的开放域多轮对话英文数据集上进行了试验，在多个评价生成回复相关性和多样性的权威指标上，与现有的对话生成模型比较，取得了优异的表现。

除以上创新点以外，该论文还首次探索了解决“角色模糊”问题的方法，基于角色嵌入的双人多轮对话回复生成模型，为相关研究奠定了一定基础。

撰稿：甘子邦

审稿：陈锦辉