Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
该项目有潜力增强全球数百万阿拉伯语使用者的沟通和无障碍。图片来源:沙迦大学美术与设计学院 Hala Georges 博士。

沙迦大学的科学家相信他们已经创建了一个人工智能系统,可以自动识别某人正在说哪种阿拉伯方言。工作是发表IEEE探索

他们表示,他们的系统揭开了阿拉伯方言丰富而复杂的面纱,迄今为止传统的语音系统还无法准确地解释和识别这些方言。

“阿拉伯语是一种丰富的语言,有许多地区方言,每种方言都有自己独特的词汇、表达方式和发音。这种多样性使得技术很难准确理解和区分它们,”计算机科学与技术教授阿什拉夫·埃尔纳加尔 (Ashraf Elnagar) 说。情报系统。

“为了解决这个问题,我们开发了一个系统,可以自动识别某人正在说哪种阿拉伯方言。”

阿拉伯语是中东、北非和阿拉伯半岛 22 个国家的官方语言,是全球使用最广泛的语言之一超过3.7亿人以它为母语。它也是世界上文化最深入的语言之一,对于那些以它为母语或作为第二语言或学习它的人来说发现自己也在学习伊斯兰教及其文化。

Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
阿拉伯语是中东、北非和阿拉伯半岛 22 个国家的官方语言,也是全球使用最广泛的语言之一。图片来源:沙迦大学美术与设计学院 Hala Georges 博士。

该语言的字母表与英语完全不同,因此有许多特定于其音系的发音。它的声音和角色的魅力令人着迷无数的外国学习者谁渴望说一口流利的语言。尽管大多数阿拉伯语学习都是以标准正式形式进行的,但许多外国学习者选择口语或日常版本,特别是埃及和叙利亚货币的口语形式。

作者表示,在教计算机仅通过听口语来识别不同的阿拉伯方言时,他们面临的任务并不容易。他们写道:“主要挑战是开发一种机器学习模型,能够准确识别各种阿拉伯语方言

“阿拉伯方言固有的多样性和复杂性,再加上音频处理和机器学习模型优化的技术挑战,使这项任务变得更加复杂。”

作者使用的数据集包含从 YouTube 收集的 3,000 多个小时的音频片段。数据包括阿尔及利亚、埃及、伊拉克、约旦、沙特阿拉伯、科威特、黎巴嫩、利比亚、毛里塔尼亚、突尼斯、摩洛哥、阿曼、巴勒斯坦、卡塔尔、苏丹、叙利亚、阿拉伯联合酋长国 (阿联酋)、巴林的 19 种不同方言和也门。

Elnagar 教授表示,结果令人印象深刻,强调了该模型在区域和国家层面阿拉伯方言识别方面的高精度。“我们的模型正确识别了97.29% 的时间和特定国家方言 94.92% 的时间。

Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
阿拉伯语是一门丰富的语言,有许多方言,每种方言都有自己独特的词汇、表达方式和发音。图片来源:沙迦大学美术与设计学院 Hala Georges 博士。

“值得注意的是,我们仅使用 29% 的资源就实现了这一目标其他研究人员通常需要。我们已经公开了我们的模型,以便其他研究人员和开发人员可以使用它们为阿拉伯语使用者创建更好的语音相关技术。”

该项目有潜力增强全球数百万阿拉伯语使用者的沟通和无障碍。埃尔纳加尔教授表示,该模型正确识别方言的能力可以“改进虚拟助理、翻译服务和自动化客户支持系统等语音激活技术。

“这不仅弥合了不同阿拉伯语地区之间的沟通差距,而且还有助于使技术对阿拉伯语使用者更具包容性和用户友好性。”

埃尔纳加教授指出,尽管取得了令人震惊的结果,但该项目仍然可以改进。为此,作者将他们的系统“在一个名为 HuggingFace 的平台上在线公开”,以便其他人可以访问并利用我们的工作来改进阿拉伯语言技术。

这项研究是 Elnagar 教授和他的三位同事合作的成果作为构建用于从语音识别阿拉伯方言的深度学习模型的项目的一部分。初步研究成果首次在 2024 年第 15 届应用计算本科生研究会议(URC)上公布。

Scientists develop machine learning tool to accurately identify Arabic dialects  in 22 Arabic-speaking countries
该语言的字母表与英语完全不同,因此有许多特定于其音系的发音。它的声音和文字的魅力让无数渴望流利说它的外国学习者感到困惑。图片来源:沙迦大学美术与设计学院 Hala Georges 博士

“我们系统背后的技术由我们敬业的学生开发,集成了尖端方法和深度学习技术。将其功能从文本扩展到音频信号使其与众不同,提供了一种理解和处理阿拉伯语的多模式方法,”教授埃尔纳加说道。

对于学生研究员 Amr Barakat 来说,该项目“弥合了语言技术方面的关键差距,为全世界讲阿拉伯语的人提供了更具包容性和准确的沟通。通过利用先进的机器学习,我们创建了一个模型,该模型不仅在性能上表现出色,而且还铺平了道路未来语音识别领域的创新。”

另一位学生研究员 Abdulla Aldhaheri 表示,业界对该项目产生了广泛兴趣,因为它“具有广泛采用的潜力,为各种人工智能驱动的语言应用程序和服务提供了众多好处和改进。”

除了高精度之外,作者开发的工具与当前可用的模型不同,需要更少的数据和计算资源,使其可以更广泛地使用。据作者称,这一功能是业界对他们的工作感兴趣的原因。他们引用了微软等科技公司和阿联酋沙迦的政府机构。因为对自己的工作特别热情。

更多信息:Amr Barakat 等人,《从语音中识别阿拉伯方言》,2024年第15届应用计算本科生研究会议(URC)(2024)。DOI:10.1109/URC62276.2024.10604557

引文:科学家开发机器学习工具,准确识别 22 个阿拉伯语国家的阿拉伯方言(2024 年 10 月 7 日)检索日期:2024 年 10 月 7 日来自 https://techxplore.com/news/2024-10-scientists-machine-tool-accurately-arabic.html

本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外,不得未经书面许可,不得复制部分内容。所提供的内容仅供参考。