開發 ChatGPT 的 OpenAI 公司推出了一種新的人工智慧 (AI) 系統，名為草莓。它的設計不僅是為了像 ChatGPT 一樣快速回答問題，也是為了思考或「推理」。

這引起了幾個主要問題。如果草莓真的具有某種形式的推理能力，那麼這個人工智慧系統會欺騙人類嗎？

OpenAI 可以對人工智慧進行編程，以削弱其操縱人類的能力。但公司自己的評價將其評為“中等風險”，因為它有能力協助專家“複製已知生物威脅的行動計劃”——換句話說，是一種生物武器。由於其說服人類改變思維的能力，它也被評為中等風險。

這樣的系統可能會如何被那些居心不良的人（例如騙子或駭客）使用還有待觀察。儘管如此，OpenAI 的評估指出，中等風險的系統可以發布以供更廣泛的使用——我認為這一立場是錯誤的。

草莓不是一種人工智慧”模型，”或程序，但有幾個 - 統稱為 o1。這些模型旨在回答複雜的問題並解決複雜的數學問題。他們還能夠編寫電腦程式碼，例如幫助您製作自己的網站或應用程式。

明顯的推理能力可能會讓一些人感到驚訝，因為這通常被認為是判斷和決策的先決條件——而這對人工智慧來說往往是一個遙遠的目標。因此，至少從表面上看，它似乎讓人工智慧更接近類人智慧。

當事情看起來好得令人難以置信時，往往會出現陷阱。那麼，這套新的人工智慧模型就是為了最大化他們的目標而設計的。這在實踐中意味著什麼？為了實現其預期目標，人工智慧選擇的路徑或策略可能不一定總是公平的，或與人類價值觀保持一致。

真實意圖

例如，如果你要與草莓下棋，理論上，它的推理是否允許它破解評分系統而不是找出贏得比賽的最佳策略？

人工智慧也可能向人類撒謊，透露其真實意圖和能力，如果廣泛部署，這將帶來嚴重的安全隱患。例如，如果人工智慧知道自己感染了惡意軟體，它是否可以“選擇”隱瞞這個事實知道一個人工操作員如果他們知道的話，可能會選擇停用整個系統？

這些都是不道德的人工智慧行為的典型例子，如果可以達到預期的目標，作弊或欺騙是可以接受的。對於人工智慧來說，這也會更快，因為它不必浪費任何時間找出下一個最佳行動。然而，這在道德上不一定是正確的。

這引發了一場相當有趣但令人擔憂的討論。草莓的推理能力達到什麼程度？一個能夠欺騙人類的強大人工智慧系統可能會為我們帶來嚴重的道德、法律和財務風險。

在緊急情況下，例如設計大規模殺傷性武器，此類風險變得嚴重。OpenAI 將自己的 Strawberry 模型評為“中等風險”，因為它們有幫助科學家開發的潛力化學、生物、放射性和核武器。

開放人工智慧說：“我們的評估發現，o1-preview 和 o1-mini 可以幫助專家製定重現已知生物威脅的操作計劃。”但它接著說，專家在這些領域已經擁有豐富的專業知識，因此實踐中的風險是有限的。它補充說，“這些模型不允許非專家製造生物威脅，因為製造這種威脅需要模型無法替代的實驗室實踐技能。”

說服力

OpenAI 對草莓的評估也調查了它說服人類改變信念的風險。人們發現新的 o1 車型比 ChatGPT 更具說服力和操控性。

OpenAI 還測試了一種緩解系統，該系統能夠降低人工智慧系統的操縱能力。總體而言，草莓被標記為「說服」的中等風險在 Open AI 的測試中。

草莓因其自主運作和網路安全的能力而被評為低風險。

開放人工智慧的政策規定，「中等風險」模型可以發布並廣泛使用。在我看來，這低估了威脅。此類模型的部署可能是災難性的，特別是如果不良行為者為了自己的追求而操縱該技術。

這需要強有力的製衡，而這只有透過人工智慧監管和法律框架才能實現，例如懲罰不正確的風險評估和濫用人工智慧。

英國政府在 2023 年人工智慧白皮書中強調了「安全、可靠和穩健」的必要性，但這還遠遠不夠。迫切需要優先考慮人類安全，並為草莓等人工智慧模型製定嚴格的審查協議。

本文轉載自對話根據知識共享許可。閱讀原創文章。