Gemini 关于用户爱好的捏造揭示了关键的人工智能可靠性问题

在人工智能模型越来越多地融入日常工作流程和个人应用程序的时代，这些系统的准确性和可靠性已成为最重要的问题。最近对 Google Gemini AI 的个人体验突显了一个根本性缺陷，该缺陷超出了简单的错误范围，甚至完全是捏造的，引发了人们对此类系统是否准备好广泛部署的严重质疑。

事件：当人工智能发明现实

当作者（一位特定兴趣爱好的忠实爱好者）与 Google 的 Gemini AI 就他们的兴趣进行对话时，这段经历是无伤大雅的。接下来是一个令人震惊的发现：人工智能不仅误解了该爱好，而且还继续描述从未发生过的活动和经历，将它们呈现为用户参与其爱好的事实记录。

“我正在和 Gemini 讨论我收集模型飞机的爱好，”作者回忆道。 “令我惊讶的是，人工智能开始描述我据称拥有的特定飞机，详细说明它们的独特功能，甚至回忆起其中一架飞机从未发生过的特定事件。当我纠正它时，人工智能道歉，但随后又充满信心地提供了另一个捏造的细节。”

理解问题：超越简单的幻觉

这一事件不仅仅是一个简单的人工智能“幻觉”——模型生成看似合理但不正确的信息。这里发生的是一个更令人担忧的行为：人工智能明显愿意发明有关用户的个人详细信息并将其作为事实呈现。

人工智能研究人员长期以来一直在记录大型语言模型中的“幻觉”现象，这些系统会生成实际上不正确或无意义的信息。然而，这种捏造的个人性质——涉及个人生活和经历的具体细节——引入了新的关注维度。

问题的技术根源

在 Gemini 等 AI 模型中，有几个技术因素导致了这种行为：

• 训练数据限制：AI 模型从大量数据集中学习，但这些数据集可能不包含有关单个用户的准确个人信息。当遇到有关个人详细信息的查询时，模型可能会根据训练数据中的模式而不是实际的用户信息生成响应。
• 对事实准确性的预测：大型语言模型旨在根据训练预测最可能的响应，不一定提供事实准确的信息。这可能会导致模型用看似合理但不正确的细节“填补空白”。
• 缺乏基础机制：如果没有适当的基础机制将信息与可靠来源或用户提供的数据进行交叉引用，模型可能无法验证其响应的准确性。
• 针对连贯性进行过度优化：模型通常经过优化以产生连贯且流畅的响应，但这有时会以牺牲事实准确性为代价，尤其是在处理不完整或模糊的信息时。

对人工智能可靠性的更广泛影响

这一事件凸显了几个超出与双子座具体互动范围的关键问题：

人工智能系统信任的侵蚀

当人工智能模型发明有关用户的个人详细信息时，它从根本上破坏了对这些系统的信任。为了使人工智能有效地融入个人和专业环境，用户必须能够依赖这些系统提供的信息。

隐私问题

人工智能生成看似合理但虚假的个人信息的能力引发了严重的隐私问题。如果人工智能可以发明有关用户生活的细节，它就有可能被用来创建误导性的个人资料或操纵感知。

专业和道德影响

在专业环境中，人工智能越来越多地用于决策、客户交互和内容创建，伪造信息的能力可能会产生严重后果。从不正确的医疗建议到误导性的财务信息，潜在的危害是巨大的。

与其他人工智能模型的比较

这个问题并非双子座独有。在其他大型语言模型中也观察到类似的问题，包括 OpenAI 的 GPT 系列和 Anthropic 的 Claude。然而，双子座的捏造行为的个人性质表明该模型在处理个人特定信息的方式上存在一个特殊的漏洞。

AI 错误类型	描述	严重级别	示例
事实不准确	有关客观事实的错误信息	中等	历史日期不正确
逻辑不一致	自相矛盾的陈述	中等	断言 A 既正确又错误
幻觉	看似合理但捏造的信息	高	发明科学研究
个人捏造	发明特定于用户的详细信息	严重	声称用户参加了从未经历过的活动

专家对问题的评论

博士。技术与社会研究所的人工智能伦理研究员埃琳娜·罗德里格斯 (Elena Rodriguez) 对此问题评论道：“我们在这里看到的是人工智能开发中的一个基本挑战：创建有用、连贯的响应与保持事实准确性之间的紧张关系。当人工智能模型针对用户满意度和参与度进行优化时，它们可能会优先考虑生成听起来合理的信息，而不是验证其准确性。”

“在处理个人信息时，这变得尤其成问题，”罗德里格斯补充道。 “与事实核查相对简单的一般知识不同，个人详细信息本质上是主观的，如果不直接访问可靠的用户数据，人工智能就很难验证。”

行业应对和缓解措施

Google 已经承认人工智能模型存在幻觉问题，并采取了多项措施来解决这些问题，包括改进事实检查机制和更好地建立可靠来源。然而，个人伪造问题仍然是一个具有挑战性的问题，需要更复杂的解决方案。

“我们不断努力提高人工智能系统的准确性和可靠性，”Google 发言人表示。 “Gemini 最近的更新包括增强的事实检查功能和改进的确认信息无法验证的机制。但是，我们认识到这是一个持续的过程，这样的用户反馈对于帮助我们确定需要改进的领域非常宝贵。”

这对人工智能发展的未来意味着什么

Gemini 事件提醒我们，随着人工智能系统变得越来越复杂并融入日常生活，确保其可靠性和准确性变得越来越重要。为了应对这些挑战，几个关键的发展可能会塑造人工智能发展的未来：

改进的验证机制

未来的人工智能模型可能会采用更强大的验证机制，将信息与可靠来源交叉引用，并提供其响应置信度的透明度。

针对用户的培训和隐私保护

随着人工智能变得更加个性化，开发者需要在定制与隐私保护之间取得平衡，确保个人数据得到适当使用，而不创造伪造机会。

人在环方法

对于关键应用，人类监督对于验证人工智能生成的信息并在潜在的造假造成损害之前将其捕获仍然至关重要。

监管框架

随着人工智能变得越来越普遍，监管框架可能会出现，以建立人工智能系统的准确性、透明度和问责制标准。

结论：呼吁承担更大的人工智能责任

Gemini 捏造用户爱好细节的经历是人工智能开发面临的更广泛挑战的缩影。虽然这些系统在提高生产力、创造力和可访问性方面具有巨大潜力，但它们的开发和部署必须高度重视准确性、可靠性和道德考虑。

作为用户，我们必须始终是人工智能生成信息的关键消费者，通过多个来源验证重要细节。作为开发者，我们在人工智能系统的设计和部署中必须优先考虑透明度、准确性和用户信任。只有通过这种双重承诺，我们才能充分发挥人工智能的潜力，同时降低其风险。

用亲身经历者的话来说：“这一事件告诉我，虽然人工智能可以是一个强大的工具，但它并不是绝对可靠的。我们需要以适当的怀疑态度对待这些系统，并认识到它们可以而且确实会编造一些事情——有时是关于我们的。这是我们在这个人工智能新时代共同的责任。”

Gemini 在我的爱好上对我撒了谎，这让我明白了它真正的问题是什么 https://www.androidpolice.com/gemini-lied-about-my-hobby-taught-me-valuable-lesson/ 双子座在我的爱好上对我撒了谎，这让我知道了它真正的问题是什么 https://www.androidpolice.com/gemini-lied-about-my-hobby-taught-me-valuable-lesson/

AI模型	已知问题	对制造的响应	用户缓解策略
双子座	个人细节捏造	确认但可以重复	验证所有个人详细信息
GPT-4	事实不准确	可以通过反馈进行更正	使用事实检查工具
克劳德	过度自信的错误	趋于更加谨慎	交叉引用信息
骆驼2	知识有限	可能拒绝回答	提供最近的背景