Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
該計畫有潛力增強全球數百萬阿拉伯語使用者的溝通和無障礙。圖片來源:沙迦大學美術與設計學院 Hala Georges 博士。

沙迦大學的科學家相信他們已經創建了一個人工智慧系統,可以自動識別某人正在說哪種阿拉伯方言。工作是發表IEEE探索

他們表示,他們的系統揭開了阿拉伯方言豐富而複雜的面紗,迄今為止傳統的語音系統還無法準確地解釋和識別這些方言。

「阿拉伯語是一種豐富的語言,有許多地區方言,每種方言都有自己獨特的詞彙、表達方式和發音。這種多樣性使得技術很難準確理解和區分它們,」電腦科學與技術教授阿什拉夫·埃爾納加爾(Ashraf Elnagar) 說。

“為了解決這個問題,我們開發了一個系統,可以自動識別某人正在說哪種阿拉伯方言。”

阿拉伯語是中東、北非和阿拉伯半島 22 個國家的官方語言,是全球使用最廣泛的語言之一超過3.7億人以它為母語。它也是世界上文化最深入的語言之一,對於以它為母語或作為第二語言或學習它的人來說發現自己也在學習伊斯蘭教及其文化。

Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
阿拉伯語是中東、北非和阿拉伯半島 22 個國家的官方語言,也是全球使用最廣泛的語言之一。圖片來源:沙迦大學美術與設計學院 Hala Georges 博士。

該語言的字母表與英語完全不同,因此有許多特定於其音系的發音。它的聲音和角色的魅力令人著迷無數的外國學習者誰渴望說一口流利的語言。儘管大多數阿拉伯語學習都是以標準正式形式進行的,但許多外國學習者選擇口語或日常版本,特別是埃及和敘利亞貨幣的口語形式。

作者表示,在教導電腦僅透過聽口語來辨識不同的阿拉伯方言時,他們面臨的任務並不容易。他們寫道:「主要挑戰是開發一種機器學習模型,能夠準確地識別各種阿拉伯語方言

“阿拉伯方言固有的多樣性和複雜性,再加上音頻處理和機器學習模型優化的技術挑戰,使這項任務變得更加複雜。”

作者使用的資料集包含從 YouTube 收集的 3,000 多個小時的音訊片段。數據包括阿爾及利亞、埃及、伊拉克、約旦、沙烏地阿拉伯、科威特、黎巴嫩、利比亞、茅利塔尼亞、突尼斯、摩洛哥、阿曼、巴勒斯坦、卡達、蘇丹、敘利亞、阿拉伯聯合大公國 (阿聯酋)、巴林的 19 種不同方言和葉門。

Elnagar 教授表示,結果令人印象深刻,強調了該模型在區域和國家層面阿拉伯方言識別方面的高精度。「我們的模型正確辨識了97.29% 的時間和特定國家方言 94.92% 的時間。

Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
阿拉伯語是一門豐富的語言,有許多方言,每種方言都有自己獨特的詞彙、表達方式和發音。圖片來源:沙迦大學美術與設計學院 Hala Georges 博士。

「值得注意的是,我們僅使用 29% 的資源就實現了這一目標其他研究人員通常需要。我們已經公開了我們的模型,以便其他研究人員和開發人員可以使用它們為阿拉伯語使用者創建更好的語音相關技術。

該計畫有潛力增強全球數百萬阿拉伯語使用者的溝通和無障礙。埃爾納加爾教授表示,該模型正確識別方言的能力可以「改進虛擬助理、翻譯服務和自動化客戶支援系統等語音啟動技術。

“這不僅彌合了不同阿拉伯語地區之間的溝通差距,而且還有助於使技術對阿拉伯語使用者更具包容性和用戶友好性。”

埃爾納加教授指出,儘管取得了令人震驚的結果,但該計畫仍可改進。為此,作者將他們的系統“在一個名為 HuggingFace 的平台上在線公開”,以便其他人可以訪問並利用我們的工作來改進阿拉伯語言技術。

這項研究是 Elnagar 教授和他的三位同事合作的成果作為建構用於從語音識別阿拉伯方言的深度學習模型的項目的一部分。初步研究成果首次在 2024 年第 15 屆應用計算本科生研究會議(URC)上發表。

Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
該語言的字母表與英語完全不同,因此有許多特定於其音系的發音。它的聲音和文字的魅力讓無數渴望流利說它的外國學習者感到困惑。圖片來源:沙迦大學美術與設計學院 Hala Georges 博士

「我們系統背後的技術由我們敬業的學生開發,整合了尖端方法和深度學習技術。將其功能從文字擴展到音訊訊號使其與眾不同,提供了一種理解和處理阿拉伯語的多模式方法,”教授埃爾納加說。

對於學生研究員Amr Barakat 來說,該計畫「彌合了語言技術方面的關鍵差距,為全世界講阿拉伯語的人提供了更具包容性和準確的溝通。透過利用先進的機器學習,我們創造了一個模型,該模型不僅在性能上表現出色,而且還鋪平了道路未來語音識別領域的創新。

另一位學生研究員 Abdulla Aldhaheri 表示,業界對該計畫產生了廣泛興趣,因為它“具有廣泛採用的潛力,為各種人工智慧驅動的語言應用程式和服務提供了眾多好處和改進。”

除了高精度之外,作者開發的工具與目前可用的模型不同,需要更少的數據和計算資源,使其可以更廣泛地使用。據作者稱,這項功能是業界對他們的工作感興趣的原因。他們引用了微軟等科技公司和阿聯酋沙迦的政府機構。因為對自己的工作特別熱情。

更多資訊:Amr Barakat 等人,《從語音中辨識阿拉伯方言》,2024年第15屆應用計算本科生研究會議(URC)(2024)。DOI:10.1109/URC62276.2024.10604557

引文:科學家開發機器學習工具,準確地辨識 22 個阿拉伯語國家的阿拉伯方言(2024 年 10 月 7 日)檢索日期:2024 年 10 月 7 日取自 https://techxplore.com/news/2024-10-scientists-machine-tool-accurately-arabic.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。