渐进式特征强化遥感图像超分辨率网络
ID:90 View Protection:PRIVATE Updated Time:2023-04-10 19:53:53 Hits:2340 快闪报告

Start Time:2023-05-06 17:18(Asia/Shanghai)

Duration:4min

Session:7A 7A、遥感与地理信息科学 » 7A-17A-1 遥感与地理信息科学

No files

Abstract
       高分辨率(high resolution, HR)遥感影像在遥感影像判读中发挥着关键作用。然而,由于传感器硬件配置、传感器高度和成像设置等原因,大部分免费公开的遥感数据的空间分辨率不能满足更加精细的遥感应用的需求。近年来,超分辨率技术(super resolution, SR)被广泛应用于图像分辨率提升的研究中,并且根据是否有参考图像的参与,可以分为单图超分(sigal-image super resolution, SISR)和多图超分(multiple-image super resolution, MISR)。SISR由于只需要低分辨率图像(low resolution, LR)进行超分图像重建,因此在图像重建领域得到了广泛的应用,并取得了较好的重建效果。然而,现阶段的SISR多专注于小比例尺度的超分重建,例如2倍(2x)和4倍(4x)SR,更高倍率的超分重建很少。另外,仅有的少数大比率超分(8x)的研究多集中于超分重建自然图像中简单场景,对于复杂场景的超分重建精度不高。这可能是因为SISR只能从LR中提取特征,但LR中高频细节的缺失会导致重建图像的细节失真,同时图像中伪影的产生始终是现阶段大倍率超分研究中难以避免的问题。
       基于现阶段大倍率图像超分中存在的细节失真和伪影的问题,我们提出了基于渐进式特征强化遥感图像超分网络(Progressive feature enhancement of remote sensing image super-resolution, PFESR)。首先,考虑到单一的LR所能提供的高频信息较少,我们提出了改进的风格迁移模块,用来生成重建高分辨率图像所需的高频信息;其次,由于不同模块的特征提取结果对高分辨率图像重建的作用存在差异,硬注意力和软注意力机制被用来选择对高分辨率图像重建重要的特征,并可以限制伪影的产生。再次,考虑到前期深度残差网络提取的特征可能不充分,我们构建了一个可学习的特征提取模块(VGG feature extraction, VFE),进行不同尺度的特征提取(2x, 4x, 8x);最后,考虑到原始图像和超分重建图像的空间分辨率差距较大(8x),我们提出了一个多尺度、渐进式特征融合模块,依次进行LR-2x-4x-8x图像特征融合,最终依据8x特征得到重建的HR。我们将该方法应用在两个公共数据集和一个自制无人机图像(unmanned aerial vehicle, UAV)数据集上进行重建实验,结果表明,PFESR在定量和定性评价结果中都取得了最高的精度。
表1 8倍超分实验定量结果
模型 PSNR↑(dB) SSIM↑ ERGAS↓ CC↑ RMSE↓
Bicubic 21.832 0.580 2.531 0.929 0.0823
VDSR 22.863 0.641 2.257 0.943 0.0730
DCM 23.131 0.645 2.186 0.947 0.0709
Transnet 23.404 0.660 2.125 0.950 0.0688
LDL+SwinIR 21.919 0.517 2.531 0.930 0.0816
Hat 23.560 0.663 2.091 0.951 0.0676
PFESR (our) 23.715 0.670 2.062 0.953 0.0665
Keywords
超分辨率、风格迁移、注意力机制、无人机、特征增强
Speaker
王耀
宁波大学

Submission Author
王耀 宁波大学 土木工程与地理环境学院
刘围围 宁波大学 土木工程与地理环境学院
Submit Comment
Verify Code Change Another
All Comments
Important Date
  • Conference Date

    May 05

    2023

    to

    May 08

    2023

  • Mar 31 2023

    Draft paper submission deadline

  • May 25 2023

    Registration deadline

Sponsored By
青年地学论坛理事会
中国科学院青年创新促进会地学分会
Organized By
武汉大学
中国科学院精密测量科学与技术创新研究院
中国地质大学(武汉)
Contact Information
Previous Conferences