如今，我們對周遭世界物理特徵的理解和評估越來越不依賴人類智能，而越來越依賴人工智慧。

遙感（RS）技術已成為政府情報、環境監測、自主交通、城市規劃和災害管理的重要工具。但產生的大量影像遠端攝影機必須進行處理和解釋，並且這些任務越來越多地委託給深度學習 (DL) 模型。

深度學習模型可以比人類更快地處理和解釋圖像，而隨著時間的推移，人工智慧的最新進展只會提高這種能力。儘管效率有所提高，但還沒有研究嘗試評估用於基於深度神經網路 (DNN) 的模型的整體穩健性和潛在漏洞。物體偵測RS 影像中的影像分類。

為了解決這個問題，西北工業大學和香港理工大學的科學家團隊回顧了所有關於使用遙感影像進行目標檢測和分類的深度學習模型的穩健性的現有研究，並開發了一個基準來評估各種深度學習模型偵測器（例如YOLO 版本、RetinaNet、FreeAnchor）的效能。至關重要的是，他們的分析揭示了用於物件檢測的深度學習演算法的幾個漏洞，這些漏洞可能被攻擊者利用。

團隊發表了他們的評論在遙感學報。

「我們試圖解決遙感任務中使用的深度學習模型的穩健性缺乏全面研究的問題，特別是影像分類和目標檢測。我們的目的是了解這些模型對各種類型雜訊的脆弱性，特別是對抗性噪音西北工業大學電子資訊學院教授、該評論論文的主要作者梅少輝說：

更具體地說，該團隊研究了自然噪音和各種攻擊對模型性能的影響。科學家使用不同強度的自然噪音源，包括椒鹽噪音和隨機噪音以及雨、雪和霧，來測試使用深度學習模型進行物體檢測和識別的穩健性。

該團隊還使用各種數位攻擊來利用模型中的漏洞來測試模型效能，包括快速梯度符號法 (FGSM)、AutoAttack、投影梯度下降、Carlini & Wagner 和動量迭代 FGSM。他們還確定了潛在物理攻擊的影響，即可以透過物理方式繪製補丁或將補丁附加到物體或物體的背景上來損害深度學習模型。

研究人員發現深度學習模型中存在許多可能被潛在對手利用的漏洞。「深度學習模型儘管在以下方面具有強大的能力遙感應用，容易受到不同類型的干擾，包括對抗性攻擊。對於這些技術的開發人員和用戶來說，意識到這些漏洞並努力提高模型的穩健性以確保在現實條件下的可靠性能至關重要，」西北工業大學電子資訊學院研究生連嘉偉說道。以及論文的作者。

為了幫助其他研究人員提高深度學習模型在這些應用中的穩健性，作者總結了他們對各種模型、噪音類型和攻擊的分析結果：

• 訓練對抗性攻擊與訓練神經網路有許多相似之處，並且受到與模型訓練相同的因素的影響，包括訓練資料、受害者模型（深度學習用於生成對抗攻擊的模型）和最佳化策略。
• 諸如 YOLOv2 之類的弱偵測器可能只需要學習有限的資訊即可成功攻擊 DL 模型，但使用更強大的偵測器，攻擊通常不會成功。
• 「動量」和「退出」等技術可以提高攻擊的效率。對訓練策略和測試增強的研究可以提高 DNN 模型的安全性。
• 物理攻擊與數位攻擊同樣有效。深度學習模型中的漏洞必須轉化為潛在的現實應用，例如附加實體修補程式來破壞深度學習演算法，從而可能利用這些漏洞。
• 研究人員可以梳理深度學習模型的特徵提取機制，以了解對手如何操縱和破壞這個過程。
• 可以操縱物件的背景來削弱深度學習模型正確偵測和辨識物件的能力。
• 在目標背景中使用實體補丁的對抗性攻擊可能比將補丁附加到目標本身更實用。

研究團隊承認，他們的分析僅提供了提高 RS DL 模型穩健性的藍圖。

「我們的下一步包括進一步完善我們的基準測試框架，並使用更廣泛的模型和噪音類型進行更廣泛的測試。我們的最終目標是為 RS 開發更強大、更安全的 DL 模型做出貢獻，從而提高這些技術在關鍵應用中的可靠性和有效性，例如環境監測、災害應變和城市規劃，」梅伊說。

中國西安西北工業大學電子資訊學院的Xiaofei Wang、Yuru Su和Mingyang Ma以及香港理工大學電機與電子工程系的Lap-Pui Chau也對這項研究做出了貢獻。

更多資訊：Shaohui Mei 等人，遙感中基於深度學習的影像分類和目標檢測的穩健性綜合研究：測量和基準測試，遙感學報（2024）。DOI：10.34133/遙感.0219

提供者：遙感學報