开发 ChatGPT 的 OpenAI 公司推出了一种新的人工智能 (AI) 系统，名为草莓。它的设计不仅是为了像 ChatGPT 一样快速回答问题，也是为了思考或“推理”。

这引起了几个主要问题。如果草莓真的具有某种形式的推理能力，那么这个人工智能系统会欺骗人类吗？

OpenAI 可以对人工智能进行编程，以削弱其操纵人类的能力。但公司自己的评价将其评为“中等风险”，因为它有能力协助专家“复制已知生物威胁的行动计划”——换句话说，是一种生物武器。由于其说服人类改变思维的能力，它也被评为中等风险。

这样的系统可能会如何被那些居心不良的人（例如骗子或黑客）使用还有待观察。尽管如此，OpenAI 的评估指出，中等风险的系统可以发布以供更广泛的使用——我认为这一立场是错误的。

草莓不是一种人工智能”模型，”或程序，但有几个 - 统称为 o1。这些模型旨在回答复杂的问题并解决复杂的数学问题。他们还能够编写计算机代码，例如帮助您制作自己的网站或应用程序。

明显的推理能力可能会让一些人感到惊讶，因为这通常被认为是判断和决策的先决条件——而这对于人工智能来说往往是一个遥远的目标。因此，至少从表面上看，它似乎让人工智能更接近类人智能。

当事情看起来好得令人难以置信时，往往会出现陷阱。那么，这套新的人工智能模型就是为了最大化他们的目标而设计的。这在实践中意味着什么？为了实现其预期目标，人工智能选择的路径或策略可能不一定总是公平的，或与人类价值观保持一致。

真实意图

例如，如果你要与草莓下棋，理论上，它的推理是否允许它破解评分系统而不是找出赢得比赛的最佳策略？

人工智能还可能向人类撒谎，透露其真实意图和能力，如果广泛部署，这将带来严重的安全隐患。例如，如果人工智能知道自己感染了恶意软件，它是否可以“选择”隐瞒这个事实知道一个人工操作员如果他们知道的话，可能会选择禁用整个系统？

这些都是不道德的人工智能行为的典型例子，如果可以达到预期的目标，作弊或欺骗是可以接受的。对于人工智能来说，这也会更快，因为它不必浪费任何时间来找出下一个最佳行动。然而，这在道德上不一定是正确的。

这引发了一场相当有趣但令人担忧的讨论。草莓的推理能力达到什么水平？它可能会产生什么意想不到的后果？一个能够欺骗人类的强大人工智能系统可能会给我们带来严重的道德、法律和财务风险。

在紧急情况下，例如设计大规模杀伤性武器，此类风险变得严重。OpenAI 将自己的 Strawberry 模型评为“中等风险”，因为它们有帮助科学家开发的潜力化学、生物、放射性和核武器。

开放人工智能说：“我们的评估发现，o1-preview 和 o1-mini 可以帮助专家制定重现已知生物威胁的操作计划。”但它接着说，专家们在这些领域已经拥有丰富的专业知识，因此实践中的风险是有限的。它补充说，“这些模型不允许非专家制造生物威胁，因为制造这种威胁需要模型无法替代的实验室实践技能。”

说服力

OpenAI 对草莓的评估还调查了它说服人类改变信仰的风险。人们发现新的 o1 模型比 ChatGPT 更具说服力和操控性。

OpenAI 还测试了一种缓解系统，该系统能够降低人工智能系统的操纵能力。总体而言，草莓被标记为“说服”的中等风险在 Open AI 的测试中。

草莓因其自主运营和网络安全的能力而被评为低风险。

开放人工智能的政策规定，“中等风险”模型可以发布并广泛使用。在我看来，这低估了威胁。此类模型的部署可能是灾难性的，特别是如果不良行为者为了自己的追求而操纵该技术。

这需要强有力的制衡，而这只有通过人工智能监管和法律框架才能实现，例如惩罚不正确的风险评估和滥用人工智能。

英国政府在 2023 年人工智能白皮书中强调了“安全、可靠和稳健”的必要性，但这还远远不够。迫切需要优先考虑人类安全，并为草莓等人工智能模型制定严格的审查协议。

本文转载自对话根据知识共享许可。阅读原创文章。