幾十年來，軍方一直在使用水雷、魚雷和熱導飛彈等自主武器，這些武器基於簡單的反應回饋而運行，無需人工控制。然而，人工智慧（AI）現已進入武器設計領域。

哈佛醫學院布拉瓦尼克研究所神經生物學副教授卡納卡·拉詹 (Kanaka Rajan) 和她的團隊表示，由人工智慧驅動的自主武器代表了戰爭的新時代，並對科學進步和基礎研究構成了具體威脅。

拉詹說，人工智慧武器（通常涉及無人機或機器人）正在積極開發和部署。她預計，由於此類技術很容易擴散，隨著時間的推移，它們只會變得更加強大、複雜和廣泛使用。

當這種情況發生時，她擔心人工智慧武器可能會導致地緣政治不穩定，以及它們的發展如何影響學術界和工業界的非軍事人工智慧研究。

Rajan 與 HMS 神經生物學研究員 Riley Simmons-Edler 和 Ryan Badman 以及麻省理工學院博士一起。學生 Shayne Longpre 概述了他們的核心關注點以及前進的道路發表立場文件並在2024年機器學習國際會議。

在與哈佛醫學新聞的對話中，拉詹解釋了為什麼她和她的團隊決定調查人工智慧驅動的主題軍事技術，他們認為最大的風險是什麼，以及他們認為接下來應該發生什麼。

您是一位計算神經科學家，在人類和動物大腦的背景下研究人工智慧。您是如何想到人工智慧驅動的自主武器的？

我們開始考慮這個主題，是為了回應 2023 年春季流傳的一些關於通用人工智慧的世界末日預測。我們研究了軍隊如何使用人工智慧，發現軍事研發正在大力推動建構具有全球影響力的人工智慧驅動的自主武器系統。

我們意識到，人工智慧學術研究界無法免受這些武器廣泛發展的影響。軍隊往往缺乏足夠的專業知識，無法在沒有外部建議的情況下開發和部署人工智慧技術，因此他們必須利用學術和行業人工智慧專家的知識。這給研究人員和管理人員提出了重要的道德和實踐問題學術機構，類似於任何資助學術研究的大公司。

您認為人工智慧和機器學習融入武器時最大的風險是什麼？

人工智慧武器的開發存在許多風險，但我們看到的三個最大的風險是：第一，這些武器如何使國家更容易捲入衝突；其次，如何審查或拉攏非軍事人工智慧研究來支援這些武器的開發；第三，軍隊如何使用人工智慧驅動的自主技術來減少或轉移人類在決策中的責任。

在第一點上，阻止國家發動戰爭的一大威懾因素是士兵的死亡——公民付出的生命代價可能會給領導人帶來國內後果。目前許多人工智慧武器的開發旨在使人類士兵免受傷害，這本身就是一件人道的事情。然而，如果很少有士兵在進攻性戰爭中死亡，就會削弱戰爭行為與人力成本之間的聯繫，並且在政治上更容易發動戰爭，這反過來可能會導致更多的死亡和破壞。因此，隨著人工智慧軍備競賽的加劇以及此類技術的進一步擴散，重大地緣政治問題可能很快就會出現。

關於第二點，我們可以回顧核子物理學、火箭學等學術領域的歷史。隨著這些領域在冷戰期間變得至關重要的國防重要性，研究人員經歷了旅行限制、出版物審查以及進行基礎工作需要安全許可。隨著人工智慧驅動的自主技術成為全球國防規劃的核心，我們可以看到對非軍事人工智慧研究施加類似的限制，這將極大地阻礙人工智慧的基礎研究、醫療保健和科學研究中有價值的民用應用，以及國際合作。鑑於人工智慧研究的快速發展以及人工智慧武器的研發日益受到關注，我們認為這是一個迫切的問題。

最後，如果人工智慧武器成為國防的核心，我們可能會看到學術界和工業界拉攏人工智慧研究人員的努力來研究這些武器或開發更多「軍民兩用」計畫的重大嘗試。如果越來越多的人工智慧知識開始被鎖定在安全許可後面，它將在智力上阻礙我們的領域。一些電腦科學家已經呼籲實行如此嚴格的限制，但他們的論點否認了一個事實：新的武器技術一旦被開創，總是傾向於擴散。

您認為為什麼武器設計相對被那些考慮人工智慧構成威脅的人所忽視？

原因之一是這是一個快速變化的新格局：自 2023 年以來，一些主要大國已開始迅速公開採用人工智慧武器。此外，與將其視為更廣泛的系統和功能集合相比，單一人工智慧驅動的武器系統在孤立時看起來威脅較小，因此很容易忽略問題。

另一個挑戰是科技公司對其武器系統的自主程度和人工監督程度不透明。對某些人來說，人類的監督可能意味著在人工智慧武器單元做出一長串黑盒子決策後按下「去殺戮」按鈕，而人類無法理解或無法發現系統邏輯中的錯誤。對其他人來說，這可能意味著人類擁有更多的實際控制權並正在檢查機器的決策過程。

不幸的是，隨著這些系統變得更加複雜和強大，戰爭中的反應時間必須更快，黑盒子結果更有可能成為常態。此外，在人工智慧驅動的自主武器上看到「人機互動」可能會讓研究人員誤以為該系統按照軍事標準是道德的，而事實上它並沒有讓人類有意義地參與決策。

必須回答的最迫切的研究問題是什麼？

雖然建構人工智慧武器還需要做大量工作，但大多數核心演算法已經被提出，或者是非軍事應用（例如自動駕駛車輛）推動的主要學術和產業研究的焦點。考慮到這一點，我們必須考慮我們作為科學家和研究人員的責任，以道德方式指導這些技術的應用以及如何駕馭軍事利益對我們研究的影響。

如果世界各地的軍隊打算用人工智慧驅動的部隊取代大部分戰場和支援角色，他們將需要學術和行業專家的支援。這就提出了這樣的問題：大學應該在軍事人工智慧革命中發揮什麼作用，不應跨越哪些界限，以及應該建立什麼樣的集中監督和監督機構來監控人工智慧在武器中的使用。

在保護非軍事研究方面，我們可能需要考慮哪些人工智慧發展可以歸類為閉源和開源，如何建立使用協議，以及國際合作將如何受到電腦科學日益軍事化的影響。

我們如何在推動創意人工智慧研究的同時，防止其被用於武器？

學術界已經並將繼續與政府、技術、醫學和資訊領域的大公司以及軍方進行重要且富有成效的合作。然而，歷史上學者們也曾與糖業、化石燃料和菸草產業進行過令人尷尬、有害的合作。現代大學有機構培訓、監督和透明度要求，以幫助研究人員了解產業資助的道德風險和偏見，並避免道德上可疑的科學。

據我們所知，目前尚不存在針對軍事經費的此類訓練和監督。我們提出的問題很複雜，無法透過單一政策來解決，但我們認為，良好的第一步是大學為軍事、國防和國家安全機構創建討論研討會、內部法規和監督流程——資助的專案與產業資助計畫的現有項目類似。

您認為現實的結果是什麼？

社區中的一些人呼籲全面禁止軍事人工智慧。雖然我們同意這在道德上是理想的，但我們也認識到這是不現實的——人工智慧對於軍事目的太有用了，無法獲得制定或執行此類禁令所需的國際共識。

相反，我們認為各國應該集中精力開發人工智慧武器，以增強而不是取代人類士兵。透過優先對這些武器進行人工監督，我們有望防止最嚴重的風險。

我們還想強調的是，人工智慧武器不是鐵板一塊，需要用能力來檢驗。對我們來說，盡快禁止和監管最惡劣類別的人工智慧武器，並讓我們的社區和機構建立不應跨越的界限，這一點很重要。