据一家机构称，流行的人工智能图像生成器的基础中隐藏着数千张儿童性虐待的图像。新报告这敦促公司采取行动解决其所开发技术中的有害缺陷。

这些相同的图像使人工智能系统更容易生成真实而明确的假儿童图像，并将社交媒体上全衣真实青少年的照片转换为裸体，这引起了人们的警惕。学校和执法部门世界各地。

直到最近，反虐待研究人员认为，一些未经检查的人工智能工具产生虐待儿童图像的唯一方法是结合他们从两个不同的在线图像中学到的知识——成人色情内容和儿童的良性照片。

但斯坦福互联网观测站在大型 AI 数据库 LAION 中发现了 3,200 多张疑似儿童性虐待的图像，LAION 是一个在线图像和字幕索引，已被用于培训 Stable Diffusion 等领先的 AI 图像制作者。斯坦福大学的监督组织与加拿大儿童保护中心和其他反虐待慈善机构合作，识别非法材料并向执法部门报告原始照片链接。

立即得到了回应。在斯坦福互联网观测站周三发布报告前夕，LAION 告诉美联社，它正在暂时删除其数据集。

LAION 是非营利性大型人工智能开放网络的缩写，在一份声明中表示，它“对非法内容采取零容忍政策，出于谨慎考虑，我们已经删除了 LAION 数据集，以确保它们在发布之前是安全的”。重新发布它们。”

虽然这些图像仅占 LAION 约 58 亿张图像索引的一小部分，但斯坦福大学研究小组表示，它可能会影响人工智能工具生成有害输出的能力，并强化之前对多次出现的真实受害者的虐待。

该报告的作者、斯坦福大学互联网观测站首席技术专家 David Thiel 表示，这不是一个容易解决的问题，可以追溯到许多生成式人工智能项目“被有效地推向市场”并被广泛使用，因为该领域竞争如此激烈。

“获取整个互联网范围内的数据并制作数据集来训练模型，这应该仅限于研究操作（如果有的话），而不是本应被限制的事情。开源的没有更严格的关注，”泰尔在接受采访时说道。

帮助塑造该数据集开发的一位著名 LAION 用户是总部位于伦敦的初创公司 Stability AI，该公司是 Stable Diffusion 文本到图像模型的制造商。新版本的 Stable Diffusion 使得创建有害内容变得更加困难，但去年推出的旧版本（Stability AI 表示并未发布）仍然被融入到其他应用程序和工具中，并且仍然是“最受欢迎的模型”生成明确的图像，”根据斯坦福大学的报告。

“我们不能收回这一点。这种模式掌握在许多人的本地计算机上，”加拿大儿童保护中心的信息技术主管劳埃德·理查森说，该中心负责运营加拿大报告在线性剥削的热线。

Stability AI 周三表示，它只托管 Stable Diffusion 的过滤版本，并且“自从接管 Stable Diffusion 的独家开发以来，Stability AI 已采取积极措施来降低误用风险。”

该公司在一份准备好的声明中表示：“这些过滤器会清除模型中的不安全内容。”“通过在内容到达模型之前将其删除，我们可以帮助防止模型生成不安全的内容。”

LAION 是德国研究人员兼教师克里斯托夫·舒曼 (Christoph Schuhmann) 的创意，他今年早些时候告诉美联社，公开开放如此庞大的视觉数据库的部分原因是为了确保人工智能发展的未来不受控制。实力雄厚的企业屈指可数。

他说：“如果我们能够使其民主化，让整个研究界和整个公众都能从中受益，那将会更安全、更公平。”

LAION 的大部分数据来自另一个来源——Common Crawl，这是一个不断从开放互联网上获取数据的存储库，但 Common Crawl 的执行董事 Rich Skrenta 表示，LAION “有责任”在使用之前扫描和过滤数据。它的。

LAION 本周表示，它开发了“严格的过滤器”，以便在发布数据集之前检测和删除非法内容，并且仍在努力改进这些过滤器。斯坦福大学的报告承认，LAION 的开发人员曾尝试过滤掉“未成年”的露骨内容，但如果他们早点咨询儿童安全专家，可能会做得更好。

许多文本到图像生成器都以某种方式从 LAION 数据库派生而来，尽管并不总是清楚是哪些生成器。DALL-E 和 ChatGPT 的制造商 OpenAI 表示，它不使用 LAION，并对其模型进行了微调，以拒绝涉及未成年人的色情内容的请求。

谷歌基于 LAION 数据集构建了文本到图像 Imagen 模型，但在经过一番研究后决定不在 2022 年公开该模型。数据库审计“发现了广泛的不当内容，包括色情图像、种族主义诽谤和有害的社会成见。”

尝试追溯清理数据很困难，因此斯坦福互联网观测站呼吁采取更严厉的措施。其中之一是为任何构建 LAION 训练集的人（LAION 5B 因其包含的超过 50 亿个图像文本对而命名），以“删除它们或与中介机构合作清理材料”。另一个方法是有效地使旧版本的稳定扩散从互​​联网上最黑暗的角落消失。

蒂尔说，“合法平台可以停止提供其版本供下载”，特别是如果它们经常被用来生成滥用图像并且没有保护措施来阻止它们。

Thiel 举了一个例子，CivitAI 是一个深受制作人工智能色情作品的人青睐的平台，但他表示，该平台缺乏安全措施来权衡制作儿童图像的情况。该报告还呼吁分发模型训练数据的人工智能公司 Hugging Face 实施更好的方法来报告和删除辱骂材料的链接。

Hugging Face 表示，它正在定期与监管机构和儿童安全组织合作，以识别和删除虐待内容。CivitAI 没有回复提交到其网页的评论请求。

斯坦福大学的报告还质疑，由于联邦《儿童在线隐私保护法》的保护，是否应在未经家人同意的情况下将儿童的任何照片（即使是最温和的照片）输入人工智能系统。

反儿童性虐待组织 Thorn 的数据科学主管丽贝卡·波特诺夫 (Rebecca Portnoff) 表示，她的组织进行的研究表明，人工智能生成的图像在施虐者中的流行程度虽小，但在持续增长。

开发人员可以通过确保用于开发人工智能模型的数据集不含滥用材料来减轻这些危害。波特诺夫表示，在模型已经流通之后，还有机会减少有害使用。

科技公司和儿童安全组织目前为视频和图像分配一个“哈希”（独特的数字签名），以跟踪和记录虐待儿童的材料。波特诺夫表示，同样的概念也可以应用于被滥用的人工智能模型。

“目前还没有发生这种情况，”她说。“但在我看来，这是可以而且应该做的事情。”

© 2023 美联社。版权所有。未经许可，不得出版、广播、重写或重新分发本材料。