迁移学习帮大忙！成都理工大学搭建 SCDUNet++ 模型进行滑坡测绘

滑坡是最常见的自然灾害之一，通常由地震和降雨引发，会造成严重的财产损失和人员伤亡。由地震触发的山体滑坡所造成的破坏，有时会比地震本身造成的破坏更为严重。大型地震发生之后，快速、准确地开展滑坡测绘工作 (landslide mapping, LM) 对于紧急救援、及时定量灾害评估和灾后重建至关重要。

近年来，人们对遥感图像自动绘制滑坡地图的方法进行了大量研究，但由于山体滑坡在特征和规模上存在较大差异，加之光学遥感影像存在相似性，导致现有方法在准确进行滑坡测绘工作时面临着各种各样的挑战。

遥感滑坡图像

为此，成都理工大学的研究人员提出了一个名为 SCDUNet++ 的语义分割模型 ，该模型结合了卷积神经网络 (CNN) 和 Transformer 的优势，增强了对滑坡特征的识别和提取，性能优于 FCN, DeepLabv3+, Segformer 等其他 8 个深度学习模型，在 IoU 方面提高了 1.91% 至 24.42%，在 F1 方面提高了 1.26% 至 18.54%。该成果已发表于 International Journal of Applied Earth Observation and Geoinformation。

注：IoU 为交并比，衡量预测区域和真实区域之间的重叠程度；F1 为精确度和召回率的调和平均值，衡量模型的准确性和完整性。

研究亮点：
* 利用多通道数据的语义分割模型绘制滑坡图

* 利用地形和光谱指数因子改善滑坡绘图

* 经过深度迁移学习后，模型在数据匮乏地区的性能大大提高

* 所提出的模型在绘图和迁移性等方面优于其他模型

论文地址：

https://doi.org/10.1016/j.jag.2023.103612
数据集一键下载：

https://hyper.ai/datasets/29647
关注公众号，后台回复「滑坡」获取完整 PDF

实验过程：搭建 SCDUNet++ 模型
数据集：泸定和九寨沟地震数据

2022 年的泸定 6.8 级地震和 2017 年的九寨沟 7.0 级地震都造成了严重的滑坡灾害，因此研究人员选择这两个地区进行实验研究。

实验地区概览

数据集中包含三部分内容，整合后存储为 HDF5 格式。

Sentinel-2（哨兵 2 号卫星） 多光谱数据：2022/03/15 和 2022/11/25 的泸定地区数据，2017/07/29 和 2017/09/07 的九寨沟数据。

NASADEM (Digital Elevation Model) 数据：在 NASADEM 官网上下载数据，得到坡度、坡向、曲率、山荫及地形湿度指数 (TWI) 等数据。

滑坡数据 (landslide inventory)：结合 Sentinel-2 光学遥感图像和谷歌地球图像，由专家进行人工标注。

模型架构：三大模块构成

下图为构建的 SCDUNet++ 模型整体架构：

SCDUNet++ 整体架构

GLFE (Global Local Feature Extraction) 模块：如图 b 所示，GLFE 模块结合浅层 CNN 结构和深层 Swin Transformer 结构，有效地处理了滑坡图像特征的提取和分类问题。

DSSA (Detailed Spatial Spectral Aggregation) 模块：通过融合来自 GLFE 模块的光谱和空间特征，加强对多光谱图像中复杂信息的处理能力，该模块能够执行更精确的光谱和空间特征提取，增强了模型对多光谱图像分析的效率和准确性。

DSC (Dense Skip Connection) ：如图 d 所示，该模块能够恢复每个阶段特征的分辨率。

最后，对每个阶段的特征进行加权和融合，得到最终的结果。

算法训练：基于简单模型的 DTL 方法

研究人员引入深度迁移学习 (deep transfer learning,DTL) 方法以提高 LM 和模型的迁移性能，算法训练旨在有效处理滑坡和背景在遥感图像中的不平衡分布，同时确保模型在多个性能指标上的高效性。

基于网络的 DTL 方法

实验结果：经过迁移学习，模型有效开展滑坡测绘工作
模型评估：GLFE 模块和 DSSA 模块结合的有效性

研究人员以滑坡地图绘制常用的方法 UNet++ 作为基线，以泸定地区 I、II 为实验组，开展了消融实验 (ablation experiment)，对添加不同模块的模型进行比较，重点关注 IoU 和 F1 两个整体性指标。

由下表可见：

* GLFE 模块的有效性：与基线相比，IoU 和 F1 分别提高了 1.7% 和 1.16%。

* DSSA 模块的有效性：与基线相比，IoU 和 F1 分别提高了 1.88% 和 1.28%。

* SCDUNet++ 模型：与基线相比，IoU 和 F1 分别提高了 2.83% 和 1.92%。

模型比较结果

总结来看，研究人员将 GLFE 模块和 DSSA 模块添加到基线模型 UNet++ 中，形成了 SCDUNet++ 模型。SCDUNet++ 模型保留了小型滑坡图像以获得更好的性能，模型精确度提高了 0.46% ，召回率提高了 4.06%。

复杂区域消融实验的可视化结果

a：基线
b：基线 + GLFE
c：基线 + DSSA
d：基线 + GLFE + DSSA

泸定地区测试：SCDUNet++ 展现优越性能

在泸定 I、II 测试地区，研究人员将 SCDUNet++ 模型与其余 8 种模型的滑坡测绘工作进行比较，揭示了 SCDUNet++ 对特定地理特征和环境复杂度的敏感性。

下图结果显示，测试区域 Ⅰ 中，SCDUNet++ 在精确度、召回率、MCC、IoU、MIoU 和 F1 分数上均表现出较高的性能。这表明该模型在相对复杂的地理环境中仍能保持较高的检测准确性。而背景较为简单的测试区域 Ⅱ 实验结果也证实了 SCDUNet++ 在不同环境下的适应性，尤其在召回率和 MIoU 上表现突出。

不同模型在地区 I、II 的比较结果

在可视化结果中，SCDUNet++ 模型展现了优越的性能，具体表现为：

滑坡测绘完整性：SCDUNet++ 能够生成相对完整的滑坡地图，相比之下，FCN、Segformer、TransUNet 和 UNet 等模型遗漏了部分小型滑坡图像。

对 FP（假正例，即错误预测为正类的负类）的处理：由于裸土区域和滑坡特征十分相似，所有模型都出现了不同程度的 FP，但 SCDUNet++ 能够基于特定的特征提取模块，在一定程度上抑制 FP 的产生。

边界区域的处理：研究人员在滑坡和背景的边界区域发现了大量的 FN（假负例，即错误预测为负类的正类）和 FP，但 SCDUNet++ 采用嵌套解码器，能够在各个层次恢复和融合特征并进行深度监督，有效解决边界不准确问题。

泸定试验区分区各模型滑坡测绘可视化结果

A、 B、 C 和 D 中的白色矩形显示了结果之间的主要差异
a：测试地区 I
b：测试地区 II

总的来说，SCDUNet++ 模型展现出了在泸定地区进行滑坡测绘的强大潜力，尤其在处理复杂环境和精确边界判定方面表现卓越。

九寨沟地区测试：迁移学习后的模型预测更准

直接使用在泸定地区训练的模型

指标对比：SCDUNet++ 在大多数指标上表现优于其他模型。但需要考虑九寨沟试验区的特征相对简单，模型测试结果应该会优于泸定地区，可是指标都不是非常理想。

可视化结果：下图展示了映射结果中 FP（蓝色区域）很少，但遗漏了许多实际的滑坡。

九寨沟地区滑坡测绘

经过深度迁移学习优化的模型

指标提升：经过深度迁移学习后，所有指标在测试区域 Ⅲ 和 Ⅳ 中均显示出显著提升，特别是召回率和 F1 分数显著增加，SCDUNet++ 模型依然在多个指标上表现最佳。

经过 DTL 优化后模型指标变化

可视化结果：经过深度迁移学习后 FN（假负例，即错误预测为负类的正类）显著减少，模型有效地识别并映射出大型滑坡，减少了漏检的情况。同时模型 LM 结果包含了大多数小型滑坡，这表明经过深度迁移学习的 SCDUNet++ 模型对于细小和复杂的滑坡特征有了更好的识别能力。

SCDUNet++ LM 结果变化

a: DTL 前的测试区 III
b: DTL 后的测试区 III
c: DTL 前的测试区 IV
d: DTL 后的测试区 IV

地质灾害防治领域的国家重点实验室
成都地处四川盆地西部，地层结构复杂，当地及周边地区经常受到地震灾害侵扰。可以说，成都一直奋战在防灾减灾的一线，其中成都理工大学更是最早一批加入「战斗」的中坚力量。

1989 年，原国家计委、国家教委批准，在成都理工大学（原成都地质学院）地质工程国家重点学科基础上建立国家专业实验室，此为地质灾害防治与地质环境保护国家重点实验室的前身。2001 年，该实验室被四川省人民政府批准为「四川省重点实验室」。2002 年成为科技部与四川省共建的「国家重点实验室培育基地」，2003 年被批准为国土资源部重点实验室，2007 年 10 月被科技部批准列入国家重点实验室建设计划，2010 年 12 月通过科技部验收。

此外，该实验室是我国地质灾害防治领域目前唯一的国家重点实验室，在 2017 年被国土资源部、科技部命名为「国家国土资源科普基地」，2020 年入选四川省第十二批省级科普基地。

成理地灾国重实验室

屹立千年的山体一旦发生滑坡，岩石、土壤便顺着倾斜的山体，像流水一样顷刻间掩埋一座几公里外的村镇。灾难的背后是一个又一个谜团等待研究人员的探索，多年来，实验室的研究人员们从现场调（勘）查、模拟评估、监测预警等工作中逐步积累出一整套地质灾害防治和地质环境保护的理论与技术系统。

2023 年 11 月，研究人员在 PNAS 上发表论文，在地震、滑坡粘滑不稳定性研究领域取得重要进展；2023 年 9 月发表论文研究地震或滑坡的粘滑前兆特征，为即将发生的地震或滑坡提供预测信息；2023 年 1 月破解高速远程滑坡超强流态化谜团……

自古至今，人类多次经受自然灾害的「迫害」，地震、海啸、暴雨、干旱等等，致使无数家庭流离失所。尽管是在科技日新月异的今天，我们也难以与自然力量抗衡，更多的则是防范与预警。尤其是在 AI、大数据等技术的快递迭代之下，过往灾害所沉淀下的数据成为了宝贵的养料，帮助各类预测模型提升精度与准确性，从而更好地服务于当下社会。

我们总愿意相信人定胜天，所以自然灾害面前，人类也从未退缩，相信 AI 等技术也将成为人类抵御自然灾害、保护生命财产安全的坚实盾牌。

HyperAI官网已上传自然灾害、地质相关的数据集

* xBD 自然灾害图像数据集：

https://hyper.ai/datasets/13272

* RSSCN7 Data Set 遥感图像数据集：

https://hyper.ai/datasets/5440

* European Flood 2013 欧洲洪水数据集：

https://hyper.ai/datasets/21579

参考资料：
https://www.sklgp.cdut.edu.cn/