Deepfake of principal's voice is the latest case of AI being used for harm
巴爾的摩縣警察局長羅伯特·麥卡洛和其他地方官員於2024 年4 月25 日在馬裡蘭州陶森舉行的新聞發布會上發表講話。所高中。警方稱,一名校長就是在那裡被偽造的錄音陷害的。圖片來源:Kim Hairston/《巴爾的摩太陽報》,美聯社,文件

最近一起涉及人工智慧的刑事案件上週發生在馬裡蘭州一所高中,警方表示,該校一名校長因偽造錄音而被誣陷為種族主義者。

專家表示,此案是每個人(不僅僅是政客和名人)都應該關注這種日益強大的深度造假技術的另一個原因。

「每個人都容易受到攻擊,任何人都可以進行攻擊,」加州大學柏克萊分校教授哈尼·法里德(Hany Farid)說,他專注於數位取證和錯誤訊息。

以下是有關人工智慧造成傷害的一些最新用途的資訊:

人工智慧已變得觸手可及

處理錄製的聲音和影像並不是什麼新鮮事。但人們如此輕易地改變訊息是最近才出現的現象。它的快速傳播能力也是如此

冒充主體的假音訊剪輯是一個子集的範例被稱為生成人工智慧。它可以創建超現實的新圖像、視訊和音訊剪輯。近年來,它變得更便宜、更容易使用,降低了任何擁有網路連線的人的障礙。

「特別是在過去的一年裡,任何人——我真的是指任何人——都可以使用線上服務,」柏克萊大學教授法里德說。“他們可以免費或每月支付幾美元,上傳某人 30 秒的聲音。”

法里德說,這些時間可能來自語音郵件、社群媒體貼文或秘密錄音。機器學習演算法捕捉一個人的聲音。然後,克隆的語音是根據鍵盤上輸入的單字產生的。

他說,這項技術只會變得更強大、更容易使用,包括視訊處理。

馬裡蘭州發生了什麼事?

巴爾的摩縣當局表示,派克斯維爾高中的體育總監達中·達里恩 (Dazon Darien) 克隆了校長埃里克·艾斯沃特 (Eric Eiswert) 的聲音。

警方稱,這段假錄音包含種族主義和反猶太主義言論。該聲音檔案出現在一些教師收件匣中的一封電子郵件中,然後在社群媒體上傳播。

警方稱,在艾斯沃特對達里恩的工作表現和涉嫌濫用學校資金表示擔憂後,這段錄音浮出水面。

當局稱,偽造的音訊迫使艾斯沃特休假,而警察則守衛著他的房子。憤怒的電話淹沒了學校,社群媒體上充斥著充滿仇恨的訊息。

偵探們請外部專家分析了錄音。其中一位表示,它「包含人工智慧生成內容的痕跡,並在事後進行了人工編輯」。指出。

根據記錄,伯克利教授法里德的第二個意見發現「多個錄音被拼接在一起」。

法里德告訴美聯社,關於該錄音到底是如何創建的仍然存在疑問,他尚未確認該錄音完全是由人工智慧產生的。

但鑑於人工智慧的能力不斷增強,法里德表示,馬裡蘭州的案件仍然是“煤礦裡的金絲雀”,說明需要更好地監管這項技術。

為什麼音訊如此令人關注?

許多人工智慧產生的假資訊都是音訊。

部分原因是技術進步如此之快。人耳也不能總是能辨識出操縱的跡象,而影片和影像中的差異更容易被發現。

有些人克隆了聲音據稱被綁架的兒童專家稱,透過電話向父母索取贖金。另一個人則冒充一家急需資金的公司執行長。

在今年的新罕布夏州初選期間,人工智慧生成的機器人電話模仿了總統拜登的聲音,並試圖勸阻民主黨選民投票。專家警告稱,今年人工智慧生成的針對選舉的虛假資訊將激增。

但專家警告稱,令人不安的趨勢不僅限於音頻,例如未經衣著者同意(包括未成年人)製作假裸照的節目。歌手泰勒絲最近成為攻擊目標。

可以做什麼?

大多數人工智慧語音生成技術供應商表示,他們禁止對其工具進行有害使用。但自我執行情況各不相同。

一些供應商需要一種語音簽名,或者他們要求用戶在克隆語音之前背誦一組獨特的句子。

較大的科技公司,例如 Facebook 母公司 Meta 和 ChatGPT 製造商 OpenAI,由於濫用風險,只允許一小部分值得信賴的用戶嘗試該技術。

法里德表示,還需要做更多的工作。例如,所有公司都應該要求用戶提交電話號碼和信用卡,以便他們可以追溯到文件中濫用該技術的人。

另一個想法是要求錄音和影像帶有數位浮水印。

「你以人類聽覺系統無法察覺的方式修改音頻,但下游軟體可以識別,」法里德說。

民主與科技中心執行長亞歷珊卓·里夫·吉文斯表示,最有效的干預措施是針對人工智慧犯罪的執法行動。還需要更多的消費者教育。

另一個重點應該是敦促人工智慧公司和社群媒體平台採取負責任的行為。但這並不像禁止生成式人工智慧那麼簡單。

「添加可能很複雜因為在很多情況下,這項技術可能會產生積極或肯定的用途。

南加州大學資訊檢索與資料科學小組主任克里斯蒂安·馬特曼表示,另一個挑戰是在道德和準則方面達成國際共識。

「人們使用人工智慧的方式取決於他們所在的國家,」馬特曼說。“這不僅僅是政府,還有人民。所以文化很重要。”

© 2024 美聯社。版權所有。未經許可,不得出版、廣播、重寫或重新散佈本資料。

引文:校長聲音 Deepfake 是人工智慧被用於傷害的最新案例(2024 年 4 月 29 日)檢索日期:2024 年 4 月 29 日取自 https://techxplore.com/news/2024-04-deepfake-principal-voice-latest-case.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。