数慧时空影像超分辨率模型:视觉质量和光谱保真,我们都要!
作为计算机视觉和图像处理领域一个非常重要的研究任务,超分辨率技术是指从低分辨率输入图像中重建出含有清晰细节特征的高分辨率图像。与大家日常生活中比较熟悉的老照片高清复原不同的是,超分辨率技术除了会提高图像清晰度外,还会增强图像的细化识别能力。对于遥感影像来说,就是保留原始影像中包含的各种光谱特征,这对于后续的地物分类、监测和分析等应用开展至关重要。
全球发射卫星种类和数量越来越多,推动卫星遥感数据应用领域不断丰富。然而,由于公益卫星普遍空间分辨率不高,商业卫星影像购买成本高企,致使在开展诸如全要素变化监测、卫片执法、一张图生产等相关应用时,依然面临高分辨率影像覆盖不足的困境。

近年来,随着深度学习的发展,特别是Transformer网络结构在图像识别领域的广泛应用,使得超分辨率技术取得了巨大的进展。深度学习模型能够学习图像的复杂特征,从而在超分时保留更多的细节。
数慧时空作为一家人工智能驱动型科技企业,多年深耕遥感AI领域,并于2023年5月率先发布国内首款泛自然资源行业多模态基础大模型“长城”。基于“长城”大模型,通过创新性地结合运用数据退化模型和基于Transformer的超分神经网络,打造了DIIT影像超分辨率模型,显著提升遥感影像的分辨率。
DIIT影像超分辨率模型技术路线 首先,数慧时空采用数据退化模型模拟真实情况下的影像退化过程,生成贴近现实退化分布的低分辨率影像。将退化生成的低分辨率影像与原始影像组成配对的高低分辨率数据作为训练数据来训练超分辨率模型,可以使模型能够更好地学习如何从低分辨率图像中重建出高分辨率的影像。 然后,综合利用多种损失函数,使得超分辨率模型在生成图像时不仅能保持像素级的准确性,还能恢复更多的细节和复杂结构。同时,基于Transformer的网络结构,引入多种注意力机制,激活更多相关的像素点,从而帮助模型更好地预测和生成高分辨率图像中的像素和光谱信息。 DIIT影像超分辨率模型能够较好地超分出各类地物边缘纹理和内部细节,这对于保持图像的真实性和细节丰富度至关重要。同时,超分后影像光谱保真度较高,保持了原始图像的色彩特性,不会出现色彩偏差或失真,使得超分辨率处理后的影像更加真实和可靠,更加符合实际观察和分析的需求。 目前,DIIT影像超分辨率模型支持对市面多种高中低分辨率卫星影像进行超分。通过使用真实遥感影像作为测试数据,定性、定量对模型输出结果的光谱和纹理特征进行评价显示,超分后影像光谱保真度较高,纹理清晰度方面表现良好,影像数据质量提升明显。以下为部分结果展示: (2m->1m, 2倍)超分纹理效果展示 房屋建筑区提升明显,边缘纹理清晰,较好地保留建筑单体房顶颜色和纹理细节; 道路提升明显,边缘纹理清晰,较好地保留道路内部的纹理细节,道路中间的白色车道线清晰可见; 超分后水体边界过渡自然,纹理更为清晰; 植被纹理细节提升明显,林地能看到一簇一簇的植被分布,边缘纹理更为明显。 (2m->0.5m, 4倍)超分纹理效果展示 房屋建筑区提升明显,边缘纹理清晰,较好地保留建筑单体房顶颜色和纹理细节; 道路提升明显,边缘纹理清晰,较好地保留道路内部的纹理细节,道路中间的白色车道线清晰可见; 超分后水体的边界过渡自然,纹理细节更为清晰、真实; 植被的纹理细节提升明显,能明显超分出植被的簇状分布,效果更真实自然。 超分辨率模型的应用,能够显著提升卫星数据的利用效率,有助于开启更广泛、更精确的卫星应用服务,更好地支撑环境监测、城市规划、农业管理等业务的遥感数据应用需求,从而推动卫星技术在多个领域的应用迈向新的台阶。










