第二十二届中国虚拟现实大会 (ChinaVR 2022)

121 / 2022-10-12 22:09:37

基于多模态自适应融合的语义分割算法

开放场景具有未知性和多变性，利用有限知识实现语义理解对增强现实、机器视觉等领域

具有重要意义。基于2.5D 深度图像的语义分割方法引入深度数据弥补几何信息缺失，但多模态信息融合主要采取拼接、求和等策略，忽略了由于成像机制不同导致的模态差异，降低了RGB 模态和深度模态的特征差异的辨别力。本文提出了一种基于多模态自适应融合的语义分割算法，利用差异消除模块抽取RGB 模态和深度模态共性，增强特征的辨别力。同时融合Transformer机制，实现自适应的特征融合策略。通过在公开数据集的实验证明，本文方法的准确率高于目前主流的方法，证明其有效性。