面向广义零样本高光谱图像分类的谱条件扩散方法
ID:136
View Protection:ATTENDEE
Updated Time:2026-11-11 12:45:52 Hits:4
Oral Presentation
Abstract
空间智能探测要求在轨探测器与行星表面观测系统自主理解观测对象的物理属性与语义身份,把原始观测直接转化为支撑科学判断的空间知识。随着月球与深空探测走向更远距离、更复杂环境,这一需求日益迫切:探测器抵达目标天体后可获取的样本、影像与光谱极为有限,数传带宽与通信时延的挑战,使得自主感知水平直接决定科学数据能否被就地转化为可用知识。在地表材质辨识这一任务上,高光谱观测提供了波长分辨的物理测量,可区分外观相近的地物,但样本采集与像素级标注成本高昂,且目标场景中的大量材质类别在标注阶段并未出现,这要求探测系统在标注稀缺乃至缺失时仍能给出地表材质的语义判断,并据此完成地物识别。把这一需求转化为可求解的技术问题,也就是广义零样本高光谱图像分类:仅利用少数已知类别的像素级标注,在同一场景中同时完成已知与未知类别的识别。在高光谱图像分类的相关研究中,高光谱表征从手工描述子演进到深度模型乃至 SpectralGPT、HyperSIGMA 等基础模型,但仍以目标类别存在标注为前提;随后,经过大规模图文语料训练的视觉—语言模型 CLIP 带动其后的 GenZSL、RemoteCLIP 等把开放词汇语义带入遥感,完成了彩色遥感图像的零样本分类;近期,HZSCM、SPECIAL 等则尝试将这类语义先验引入高光谱识别,实现了高光谱图像的零样本分类。然而这些零样本高光谱图像分类方法存在一个共同缺口:外部类别语义几乎都在光谱测量介入之前就已成型,光谱信息仅被用于事后对齐或细化已有语义估计;在外观相近而光谱响应迥异的材质上,基于外观的伪监督因而难以成立——这恰是空间探测中区分同类矿物或土壤成分时最常见的情形。针对这一缺口,本文提出一种谱条件扩散的伪标签生成方法,把光谱物理线索前移到语义支撑结构的生成环节:以多波段伪彩色观测刻画材质的光谱外观,以傅里叶编码的波长坐标显式注入物理光谱坐标,共同引导预训练的扩散模型,所得谱条件注意力表征给出离散的材质分组与连续的区域关系描述,从而获得细粒度的材质区分。同时,考虑到外部直接语义估计与结构化语义估计在可靠性上存在差异且可能相互冲突,本文设计了多源语义融合机制,依据各语义源的可靠性估计与源间分歧程度自适应确定融合权重,生成稳健伪标签,并监督已知与未知类别的联合分类器。实验在帕维亚大学、帕维亚中心与萨利纳斯三个基准上按广义零样本协议开展,总体精度分别达到 93.05%、96.61% 与 94.87%,已知与未知类别的调和平均精度分别达到 84.65%、92.75% 与 76.13%,均优于对比方法;在作物光谱响应高度相近的萨利纳斯场景中,未知类别精度由最强对比方法的 34.71% 提升至 61.60%。结果表明,本文提出的谱条件扩散伪标签生成方法可显著增强未知材质识别能力并保持已知类别性能,为行星与深空探测中面向未知地表材质的自动辨识提供了无需额外标注的手段。
Keywords
高光谱图像分类,视觉—语言模型,广义零样本学习,扩散模型
Submission Author
袁欣瑶
西安电子科技大学
李娇娇
西安电子科技大学
徐海涛
中国科学院国家空间科学中心
宋锐
西安电子科技大学
李云松
西安电子科技大学
Submit Comment