ChatGPT的本质和能力边界

type

status

date

slug

summary

1. 请解释一下ChatGPT和其他大型语言模型的工作原理？

杨立昆：

可以将其比喻为一种功能极其强大的预测性输入法。大型语言模型在被投入使用前，需要先通过大量文本数据进行学习训练。一旦训练完成，当我们向模型输入一个词语并询问接下来的词语时，它便能够基于之前的训练预测出下一个词。模型会持续这种预测过程，不断生成接下来的词语，从而形成完整的句子甚至是段落。

2. 这些模型在哪些方面表现出色，又在哪些方面存在不足？

杨立昆：

大型语言模型特别擅长扮演写作助手的角色，它们能够帮助用户使用正确的语法和风格来表达信息。然而，当涉及到回答基于事实的问题时，它们的表现就不那么理想了。这是因为这些模型要么重复之前存储在记忆中的信息，要么是将训练数据中遇到的信息进行组合或插值。这意味着它们可能会产生事实错误，或者仅仅是创造出一些听起来合理的内容，而这些内容可能并不准确。

3. 为什么人工智能聊天机器人在准确性方面有时会存在明显问题？

杨立昆：

本质上，人工智能聊天机器人是通过逐字预测的方式来生成回答，这一过程很难进行精确控制或操纵，因为它们的输出完全依赖于所训练的文本数据和所给予的提示的统计特征。从数学角度来看，它生成的回答与正确答案之间的偏差可能呈指数级增长。因此，它生成的回答越长，最终答案完全不符合事实的可能性也就越大。

4. 为什么你反对暂停人工智能的开发6个月？

杨立昆：

我承认人工智能是一项强大的技术，必须以负责任且安全的方式进行部署和开发。然而，我认为暂停研究和开发六个月并非正确之策。

这样做不仅无助于解决问题，而且显得过于天真。因为实际上，没有人会真正执行这样的停止令。让我们看看签署这一提议的人群的分类。第一类是那些真正的末日预言家，他们认为我们正在开发的机器将最终拥有与人类相似的智能，一旦这种情况发生，人类将面临灭绝的威胁。

我认为这种想法过于愚蠢，而且完全误解了问题所在。虽然人工智能系统不易控制，难以确保其目标与人类价值观相符，但我们可以设计这些系统，使它们能以正确的方式实现目标。

第二类是那些担心直接伤害的人。随着大型语言模型的出现，确实可能产生错误或无意义的信息。一些人担心互联网将被机器生成的误导性内容所淹没，这可能会对用户造成影响。但我并不相信这种情况会失控，因为人类对新媒体具有很强的适应能力，已经学会了如何应对这些挑战。

第三类担忧是关于少数科技公司生产的人工智能可能带来的系统性社会影响。我个人对此持不同意见，部分原因是因为我在Meta工作。我可以从内部观察到科技公司的真实动机。

5. OpenAI的技术与Google及其他初创企业的AI技术相比如何？

杨立昆：

OpenAI在某些方面似乎稍微领先一步，主要是因为他们较早开始训练大型系统，并根据用户反馈进行调整。尽管如此，ChatGPT或GPT-4并没有什么神秘或难以置信的技术。

事实上，自然语言理解本身并不是新技术，它依旧基于现有的技术架构。Transformer这一概念最初由Meta（前称Facebook）提出。Google和许多初创公司的研究人员也已经在探索这项技术，全球有成百上千的科学家和工程师了解如何构建这类系统。你在Google或Meta看不到类似的系统的原因可能是，对于大公司来说，推出一个可能会发布误导信息的不完全可靠的系统，对其品牌声誉的风险较大。

6. 当机器能够自主学习和思考时，我们是否已经接近了通用人工智能？

杨立昆：

有观点认为，通过扩展这些大型语言模型系统，我们能够达到人类的智力水平。我认为这种看法是完全错误的。目前还有许多问题我们尚未理解，例如我们还不知道如何通过机器实现所谓的AGI（通用人工智能）。

我们还不能利用像ChatGPT或GPT-4这样的技术来训练机器人执行清理桌面或填充洗碗机等任务。尽管这对一个孩子来说是微不足道的任务，但对于当前的AI技术而言，这还是无法实现的。

同样，我们还未达到L5级别的自动驾驶，这需要一套与阅读文本截然不同的技能集。简而言之，你无法仅通过阅读文本来实现学习。

7. 那什么时候有可能实现通用人工智能？

杨立昆：

在未来五年内，我们预计将会取得重大技术进展，但我不认为我们能够达到人类的智力水平。实现这一目标还需很长时间。每当我们做出这类预测时，总会低估人类智力的复杂性。