互联网，尤其是社交媒体，在过去几十年中呈指数级增长。社交媒体的本质允许任何人上网并创建他们认为有趣的内容，无论是否合适。不当内容的一种形式是仇恨言论，即基于种族、宗教、性取向等针对某些人的攻击性或威胁性言论。

仇恨言论检测模型是可以识别和分类的计算系统网上评论作为仇恨言论。

新加坡科技设计大学 (SUTD) 助理教授 Roy Lee 表示：“这些模型对于调节在线内容和减少有害言论的传播至关重要，尤其是在社交媒体上。”评估仇恨语音检测模型的性能很重要，但由于数据集中固有的偏差，使用保留测试集的传统评估通常无法正确评估模型的性能。

为了克服这一限制，引入了 HateCheck 和多语言 HateCheck (MHC) 作为功能测试，通过模拟现实场景来捕获仇恨言论的复杂性和多样性。在他们题为“SGHateCheck：用于检测新加坡资源匮乏语言中的仇恨言论的功能测试”的研究论文中，助理。Lee教授及其团队基于HateCheck和MHC的框架开发了SGHateCheck，人工智能（人工智能）驱动的工具，可以在新加坡和东南亚的特定背景下区分仇恨和非仇恨评论。

工作出现在第八届网络虐待和伤害研讨会论文集 (WOAH 2024)。

有必要专门针对该地区的语言和文化背景创建一个评估工具。这是因为当前的仇恨言论检测模型和数据集大多基于西方背景，不能准确反映东南亚特定的社会动态和问题。

“SGHateCheck 旨在通过提供适合该地区特定需求的功能测试来弥补这些差距，确保更准确和文化敏感地检测仇恨言论，”助理说。李教授。

与 HateCheck 和 MHC 不同，SGHateCheck 使用大语言模型（法学硕士）将测试用例翻译并解释为新加坡的四种主要语言——英语、普通话、泰米尔语和马来语。然后，本地注释者会完善这些测试用例，以确保文化相关性和准确性。最终结果是超过 11,000 个测试用例被精心注释为仇恨或非仇恨，这允许更细致的平台来评估仇恨言论检测模型。

此外，虽然 MHC 包含多种语言，但它不具有与 SGHateCheck 相同水平的区域特异性。针对该地区独特语言特征（例如新加坡式英语）量身定制的功能测试的综合列表与专家指导相结合，确保了 SGHateCheck 测试的有用性和相关性。

助理强调：“这一区域重点使 SGHateCheck 能够更准确地捕捉和评估仇恨言论的表现，而这些表现可能无法通过更广泛、更通用的框架得到充分解决。”李教授。

该团队还发现，接受过单语数据集培训的法学硕士通常偏向于非仇恨分类。另一方面，在多语言数据集上训练的法学硕士由于接触更广泛的语言表达和文化背景，具有更平衡的表现，并且可以更准确地检测各种语言的仇恨言论。这强调了为多语言地区的应用程序提供文化多样性和多语言培训数据的重要性。

SGHateCheck 是专门为解决东南亚的现实问题而开发的。它有望通过加强对这些地区网络环境中仇恨言论的检测和审核来发挥重要作用，帮助培育一个更加尊重和包容的网络空间。社交媒体，在线论坛社区平台、新闻和媒体网站只是实施 SGHateCheck 具有价值的众多领域中的一部分。

幸运的是，Asst 上已经有一个使用 SGHateCheck 的新内容审核应用程序。李教授的未来计划清单。他还计划将 SGHateCheck 扩展到包括泰语和越南语等其他东南亚语言。

SGHateCheck 展示了 SUTD 整合尖端技术的精神技术进步具有深思熟虑的设计原则可以带来有影响力的现实解决方案。通过使用设计、人工智能和技术，SGHateCheck 旨在分析当地语言和社会动态，以满足特定的社会需求。

“通过专注于创建一种不仅技术先进而且具有文化敏感性的仇恨言论检测工具，该研究强调了以人为本的方法在技术研发中的重要性，”助理说。李教授。

更多信息：Ri Chi Ng 等人，SGHateCheck：检测新加坡资源匮乏语言中的仇恨言论的功能测试，第八届网络虐待和伤害研讨会论文集 (WOAH 2024)（2024）。DOI：10.18653/v1/2024.woah-1.24