如今，我们对周围世界物理特征的理解和评估越来越不依赖人类智能，而越来越依赖人工智能。

遥感（RS）技术已成为政府情报、环境监测、自主交通、城市规划和灾害管理的重要工具。但产生的大量图像远程摄像机必须进行处理和解释，并且这些任务越来越多地委托给深度学习 (DL) 模型。

深度学习模型可以比人类更快地处理和解释图像，而随着时间的推移，人工智能的最新进展只会提高这种能力。尽管效率有所提高，但还没有研究尝试评估用于基于深度神经网络 (DNN) 的模型的整体鲁棒性和潜在漏洞。物体检测RS 图像中的图像分类。

为了解决这个问题，西北工业大学和香港理工大学的科学家团队回顾了所有关于使用遥感图像进行目标检测和分类的深度学习模型的鲁棒性的现有研究，并开发了一个基准来评估各种深度学习模型检测器（例如 YOLO 版本、RetinaNet、FreeAnchor）的性能。至关重要的是，他们的分析揭示了用于对象检测的深度学习算法的几个漏洞，这些漏洞可能被攻击者利用。

团队发表了他们的评论在遥感学报。

“我们试图解决遥感任务中使用的深度学习模型的鲁棒性缺乏全面研究的问题，特别是图像分类和目标检测。我们的目的是了解这些模型对各种类型噪声的脆弱性，特别是对抗性噪声西北工业大学电子信息学院教授、该评论论文的主要作者梅少辉说：

更具体地说，该团队研究了自然噪声和各种攻击对模型性能的影响。科学家们使用不同强度的自然噪声源，包括椒盐噪声和随机噪声以及雨、雪和雾，来测试使用深度学习模型进行物体检测和识别的鲁棒性。

该团队还使用各种数字攻击来利用模型中的漏洞来测试模型性能，包括快速梯度符号法 (FGSM)、AutoAttack、投影梯度下降、Carlini & Wagner 和动量迭代 FGSM。他们还确定了潜在物理攻击的影响，即可以通过物理方式绘制补丁或将补丁附加到物体或物体的背景上来损害深度学习模型。

研究人员发现深度学习模型中存在许多可能被潜在对手利用的漏洞。“深度学习模型尽管在以下方面具有强大的能力遥感应用，容易受到不同类型的干扰，包括对抗性攻击。对于这些技术的开发人员和用户来说，意识到这些漏洞并努力提高模型的稳健性以确保在现实条件下的可靠性能至关重要，”西北工业大学电子信息学院研究生连嘉伟说道。以及论文的作者。

为了帮助其他研究人员提高深度学习模型在这些应用中的稳健性，作者总结了他们对各种模型、噪声类型和攻击的分析结果：

• 训练对抗性攻击与训练神经网络有许多相似之处，并且受到与模型训练相同的因素的影响，包括训练数据、受害者模型（深度学习用于生成对抗攻击的模型）和优化策略。
• 诸如 YOLOv2 之类的弱检测器可能只需要学习有限的信息即可成功攻击 DL 模型，但使用更强大的检测器，攻击通常不会成功。
• “动量”和“退出”等技术可以提高攻击的效率。对训练策略和测试增强的研究可以提高 DNN 模型的安全性。
• 物理攻击与数字攻击同样有效。深度学习模型中的漏洞必须转化为潜在的现实应用，例如附加物理补丁来破坏深度学习算法，从而可能利用这些漏洞。
• 研究人员可以梳理深度学习模型的特征提取机制，以了解对手如何操纵和破坏这一过程。
• 可以操纵对象的背景来削弱深度学习模型正确检测和识别对象的能力。
• 在目标背景中使用物理补丁的对抗性攻击可能比将补丁附加到目标本身更实用。

研究团队承认，他们的分析仅提供了提高 RS DL 模型稳健性的蓝图。

“我们的下一步包括进一步完善我们的基准测试框架，并使用更广泛的模型和噪声类型进行更广泛的测试。我们的最终目标是为 RS 开发更强大、更安全的 DL 模型做出贡献，从而提高这些技术在关键应用中的可靠性和有效性，例如环境监测、灾害应对和城市规划，”梅说。

中国西安西北工业大学电子信息学院的Xiaofei Wang、Yuru Su和Mingyang Ma以及香港理工大学电气与电子工程系的Lap-Pui Chau也对这项研究做出了贡献。

更多信息：Shaohui Mei 等人，遥感中基于深度学习的图像分类和目标检测的鲁棒性综合研究：测量和基准测试，遥感学报（2024）。DOI：10.34133/遥感.0219

提供者：遥感学报