为什么人工智能系统会产生幻觉

如今,人工智能(AI)以虚拟助手、智能家居设备、医疗诊断和自动驾驶汽车的形式运行。然而,这项关键技术的发展出现了一个问题,因为它会导致所谓的 “人工智能幻觉”。

为什么人工智能系统会产生幻觉?

简单地说,人工智能幻觉是指人工智能系统在收集训练数据时产生或推断出不存在的错误信息。另一方面,如果不能解决人工智能幻觉问题,可能会导致传播虚假信息和做出有偏见的判断等问题,从而引发经济和安全问题。我们将解释人工智能系统为什么会产生幻觉、产生幻觉的原因以及如何预防。

当大型语言模型能够观察到从未见过或根本不存在的特征或对象时,人工智能系统就可能产生幻觉。这就会导致它产生错误的输出信息,这些信息在现实生活中没有意义,但在某些情况下,却是基于它自己感知到的模式/对象。

换句话说,人工智能系统会产生幻觉,因为模型会做出错误的陈述,或依赖训练数据中琐碎的模式和偏见来产生或维护有争议的答案,但这种情况发生在更高的复杂度上。

人工智能幻觉的原因

人工智能系统产生幻觉有几个主要原因:

数据偏差

缺失数据和/或训练数据样本不完整或包含偏见/成见因素,会被大多数模型提出,因为人工智能无法判断其中的公正性或成见。

例如,曾经出现过面部识别算法无法识别非白人面孔的情况–这就是因为训练数据集是基于这种偏见编制的。

过度拟合

数据库中信息过多是人工智能系统产生幻觉的另一个原因。已识别的神经网络存在的一些问题是,当它们从有限的数据集中学习模式时,可能会 “记忆 ”或 “过度拟合 ”过于嘈杂的模式。这反过来又使它们在遇到与训练时不同的输入时更容易产生幻觉。

错误积累

输入数据中的微小误差或噪声会在分层处理后被放大,例如,在拥有数十亿参数的大型变压器模型中,这会导致产生失真甚至捏造的输出。

反馈回路

如果不加以纠正,幻觉问题甚至会在自我监督系统中变得更加复杂。例如,人工智能可以根据神经网络创建一张照片,而深度伪造可以让另一个人工智能相信该信息是真实的。

人工智能幻觉可能带来的危害

人工智能幻觉会带来严峻的挑战。如果不加以解决,我们可以预见以下几种情况:

错误信息

缺乏真实性加上机器人人工智能的伪造特性,意味着虚假统计数据和错误信息可能会不胫而走,扭曲人们查找可靠数据的能力。如果这些系统被用于新闻、教育或公共政策制定领域,这一点就非常令人担忧。

侵犯隐私

如果将此类系统应用于医疗保健、执法等相应任务,那么从未被观察到的个人敏感隐私数据可能会严重侵犯隐私并削弱信任。

对边缘群体的伤害

如前所述,在人工智能数据集中,选择偏差很可能会歧视社会弱势群体,使社会公正成为一个更大的问题。

安全隐患

幻觉人工智能对自动驾驶汽车或医疗诊断仪器的注意事项或指南存在错误信息,这可能导致事故、伤害或错误的医疗决定,因为这类人工智能系统依赖于不完善的信息。

经济成本

在多种设施和服务交付中使用幻觉人工智能而缺乏创新和增长,可能会导致客户失去信心,以及相关组织和设施的价值降低。为这些成本指定一个有形的数字并不总是可能的,但其危险性太大了。

预防人工智能幻觉

以下是研究人员在预防人工智能幻觉方面采取的积极措施:

广泛的无偏见数据

收集不包含成见或偏袒社会某一群体的训练数据集,有助于人工智能很好地训练自己。需要对公共数据库进行清洗和事实核查,防止虚假数据传播。

数据预处理

在向系统提供数据之前,采取一些措施,如删除令人震惊的观察结果、数据匿名化、减少特征等,有助于消除数据中的噪音和不需要的模式。

模型评估

人工智能系统应使用精心设计的新评估数据集进行持续检查,以识别新的幻觉。

模型监控

为了解释人工智能的意外反应,模型卡或数据报表等机制可以记录人工智能在一段时间内的行为。

可解释的人工智能

利用注意力图谱和 SHAP 值等方法,人们可以了解模型产生这种反应的原因,并根据与随机模式相匹配的特征进行简单分析。

保守部署

人工智能系统应被限制在特定的领域内,并且只能在人类的监督下进行有限的、可控的使用,直到人工智能被证明是安全、可靠的,并且在对待人类方面加倍公平。

为了帮助人工智能继续推动社会效益,防止出现与幻觉相关的危险,各组织应提前正视数据和模型质量问题。谨慎负责地避免人工智能幻觉和相关谬误可能带来的严重后果。

总之,如果实施相应的缓解策略,人工智能幻觉风险是可以控制的。然而,要避免可能出现的负面结果,需要技术开发者和影响政策变化者的持续观察。只有经过这样的共同努力,我们才能开发出对人类产生积极影响的人工智能系统,同时保证对人类的保护。

最后,我们为您准备了最常见的问题及其答案

什么是人工智能幻觉?

人工智能幻觉是指人工智能系统产生错误或无意义信息的情况,通常是由于对数据或模式的误读。

人工智能系统为什么会产生幻觉?

人工智能系统产生幻觉的原因有多种,包括过度拟合、训练数据存在偏差以及模型复杂度高等。

人工智能幻觉有多常见?

幻觉在人工智能中很常见,尤其是在大型语言模型和生成工具中,因为它们缺乏对可能结果的限制。

人工智能幻觉可以预防吗?

防止人工智能幻觉需要使用过滤工具为人工智能模型定义清晰的边界,并设置概率阈值。

人工智能幻觉的后果是什么?

后果可能包括传播错误信息,也可能造成实际伤害,如错误的医疗诊断。

人工智能幻觉如何影响人们对人工智能系统的信任?

幻觉会破坏人们对人工智能的信任,因为在没有验证的情况下,很难依赖系统的输出结果。

有没有人工智能幻觉的著名例子?

有,著名的例子包括聊天机器人生成虚假学术论文或在客户服务互动中提供错误信息。

人工智能幻觉会同时出现在语言和图像系统中吗?

是的,语言模型和计算机视觉系统都可能出现人工智能幻觉。

训练数据在人工智能幻觉中起什么作用?

训练数据至关重要–有偏差或不具代表性的数据会导致反映这些偏差的幻觉。

是否有针对人工智能幻觉的持续研究?

是的,目前有大量研究专注于理解和减轻人工智能幻觉,以提高人工智能系统的可靠性。