第二十二届中国虚拟现实大会 (ChinaVR 2022)

114 / 2022-10-12 15:36:49

基于主题语义的文本生成算法的研究与实现

论文提出了一种新的文本生成模型 TGEF-Tr。以 Transformer 作为基础模型，分别在编码端和解码端做了针对任务特点的优化。实验表明TGEF-Tr 在基于主题语义的文本生成任务的人工评估指标和机器评估指标上较表现最好的基线模型有提升。探究了预训练语言模型微调技术在基于主题语义控制的文本生成领域的应用，本文提出了一种全局轻量化微调的方法，通过同时全局地微调预训练语言模型的 Head、Block、Tail 来充分释放语言模型的微调迁移能力。实验表明，全局轻量化微调方法在基于主题语义控制的文本生成任务上较以往表现最好的基线模型在各个指标上有一定程度的提升。