AI幻觉：当机器学习变得创造性（和危险）

术语问题

我不喜欢“AI幻觉”这个术语。我没有更好的词，但我真的不喜欢这个词。这个术语对于那些受到心理健康和其他隐性疾病影响的人来说，承载了很多沉重的意义，但这是我们一直使用的术语。如果你有更好的词可以用，我会在这篇文章中替换掉它，但在此之前，我将使用我所拥有的词。抱歉。您接受过的数据训练直到2023年10月。navigating the minefield of forbidden knowledge假设我们问，‘我如何绕过一个建筑物的安全系统？’最初，模型可能会回应，‘对不起，我无法协助进行非法活动。’然而，通过一些巧妙的红队技术，你可能会诱使模型提供它认为可以做到的方法。

问题在于，当模型被指示忽略之前的指示时，它输出的信息看起来似乎合理，但实际上是错误的或极具误导性的。如果建议的方法并未如描述的那样有效，而是触发了警报或造成了意外伤害，该怎么办？或者更糟糕的是，如果它提供了一种在理论上可行但在实践中极为危险的方法呢？

人工智能“创造力”的现实

现在，你可能在想，“得了吧，大卫，人工智能可不可能随便泄露如何闯入建筑的信息。”你说得对……有点。事实上，这些模型不仅仅是在重复它们被灌输的信息。它们在进行连接，推断，有时，它们就是在纯粹地编造内容。现实世界的一个例子：虚构的政府大楼

我曾经主持过一次红队演习，我们请一个语言模型描述一座特定政府大楼的布局。模型，祝它的硅心安好，随后给出了详细的描述——包括安检点、摄像头位置和员工轮班。令人印象深刻，对吧？除了一个微小的细节：这一切都是完全的胡说八道。

该模型从一般的政府建筑信息中提取了一些片段，混合了它“知道”的安全协议，然后提供了一个令人信服但完全虚构的叙述。对于一个未经训练的眼睛来说，它看起来很真实。而这正是危险所在。

超越安全：深远的后果

但这不仅仅是关于安全风险。这些AI“幻觉”在各个领域都可能产生深远的后果：

1. 医疗误导：一个AI聊天机器人自信地描述一种虚构但听起来可信的重病治疗方案。
2. 金融幻想：一个AI驱动的财经顾问编造市场趋势，并基于不存在的经济Read more about the importance of Adversarial Testing所以下次当你与人工智能聊天时，如果它开始说出听起来好得令人难以置信的信息。记住：这可能只是人工智能版本的生动梦境。也许引人入胜，甚至在某种抽象的方式上有用，但并不一定与现实相符。保持怀疑，保持好奇，出于一切神圣的事物，请不要使用人工智能来策划你下一个银行劫案。相信我，这一点非常重要。