各位女士们先生们，大家好。很遗憾我今天无法亲自到场与大家进行面对面的讨论，但我仍然很高兴能通过这段录音，与大家分享一些关于人工智能当前和未来状态的高层次思考，特别是 AI 与科学和数学的关系——据我理解，这是本次会议和 SAIR Foundation 的核心主题。
我想从一个老笑话开始；我相信你们都听过。说的是一个研究者的工作正在被评审，评审意见回来了，写道：「这项工作既新颖又优秀。不幸的是，优秀的部分并不新颖，新颖的部分并不优秀。」
我对 AI 的第一个观点是：这个评价精准地适用于今天的很大一部分 AI。不是今天所有的 AI，但确实是很大一部分。几乎所有我们称之为「Generative AI」的东西——包括大语言模型、图像和视频模型，甚至新的学习 world model 的方法——都是如此。所有这些 AI 都从大量样本中学习，产出一个「模型」，其行为类似于样本——也就是说，生成像人一样的文字，像艺术家或自然一样的图像，像我们在互联网上看到的视频。别误会，Generative AI 可以极其有用，这一点毫无疑问。但那个笑话的评价仍然适用：这些系统可以生成既新颖又优秀的输出，但无法同时做到两者。
在很多方面，这完全不是问题。当我们让 AI 从互联网上找一个答案，或者总结一份文档时，我们不希望它「新颖」。我们更希望答案的质量——也就是它的「优秀」——来自源材料，来自写文档或写文章的人。如果 AI 的答案是「新颖」的，那意味着它超出了源材料，添加了额外的内容。这就是我们所说的「幻觉」(hallucinations)。在大多数情况下，我们不喜欢 AI 编造东西，不喜欢它添加新颖的内容。
当然，一个例外是当我们寻找的不是事实或现实，而是虚构和娱乐。我们可能要 AI 给孩子讲一个睡前故事，或者基于互联网上已有的图像生成一张新图像——但又要与它们有所不同、有所区别。在这些情况下，我们永远不容易知道 AI 实际上有多少创造力，因为我们不知道 AI 的故事、诗歌或图像与源材料有多接近。在真正的实际意义上，我们无法知道这一点，因为互联网太大了，AI 可能借鉴的可能来源太多了。
当我们要求虚构或新颖性时，AI 能够给我们，因为它的处理过程部分是随机的(stochastic)。每一个决策都可能走向多个方向，每次都会走不同的路径，产生不同的轨迹(trajectory)。轨迹可以是随机的——因此是「新颖」的——也可以基于训练数据——因此是「优秀」的，因为训练数据是优秀的，来源于人或现实。因此，轨迹要么是新颖的，要么是优秀的——基于随机性或基于数据——但永远不会同时两者兼得。
实际上，我认为如果 Generative AI 的输出永远无法同时做到优秀和新颖，这也没关系。对于笑话中的研究者来说，这是毁灭性的批评，但对于大多数事情来说并不是，对于 Generative AI 来说也不是。Generative AI 的本质就是模仿(mimic)。这就是 supervised learning 的目的。即使只是模仿，Generative AI 也可以极其有用——如果它比被模仿的对象更快、更便宜、更小、更可定制、更可复制的话。Generative AI 不能同时做到新颖和优秀，这没关系。它仍然是一项变革性的技术。
但这确实是一个局限。而且请记住，我们在这里是要用 AI 做科学和数学——在这些领域，笑话中评审的评价是毁灭性的。对于这些领域，我们需要真正的创造力和发现。Generative AI——或者说模仿型 AI——永远无法带我们到达那里。为此我们需要更多的东西，而且事实上，在 AI 的其他部分，我们确实有更多的东西。我们有许多 AI 系统可以给我们更多。我们有 AlphaGo 及其改变世界的 Move 37，有 AlphaZero 及其出色的原创国际象棋风格。我们有 GT-Sophy，驾驶模拟赛车比任何人类都好。我们有 AlphaFold 和 AlphaProof 和 Claude-Code，在科学、数学和编程领域带来了真正的进步。我们有 RL-Lyft，优化网约车业务中车辆与乘客的匹配分配。所有这些系统都发现了既新颖又优秀的东西。而且说实话，一些语言模型已经通过增强，使其超越了基于 supervised learning 的 Generative AI。
所有这些系统都有一些额外的特征，使它们能够实现真正的创造力和真正的发现。重要的是我们要认识到这是什么——以及它不存在于普通的、常规的 Generative AI 中。它是一种不能仅从 supervised learning、仅从学习样本中获得的东西。那它是什么？嗯，它是一件简单的事情，一件常识性的事情。它并不新。我们有很多名字来称呼它，但不幸的是，这些名字都不是很好。我称之为 Discovery。基本上，Discovery 就是尝试很多东西，看哪些有效，然后保留最好的。自然选择的进化是这样运作的。科学方法是这样运作的。普通的生活和学习也是这样运作的。我们尝试各种事情，记住什么有效。还有什么比这更显而易见的呢？在行为学中，心理学有两个名字来称呼它——「工具性学习」(instrumental learning) 和「操作性条件反射」(operant conditioning)——在机器学习中，这就是我们所说的「reinforcement learning」。我们也在规划和组合搜索中看到 Discovery 的思想——任何涉及「生成与测试」(generate and test) 概念的东西。
Discovery 的本质是结合三个步骤：1. Variation（变异），2. Evaluation（评估），3. Selective Retention（选择性保留）。
当然，我不是第一个说这些的人。我不是第一个指出这三步组合是科学、自然选择进化和动物行为的关键。我特别想到 Donald Campbell、Daniel Dennett 和 Gary Cziko 的论文。我的发言中新的东西是将 Discovery 的概念直接与现代 AI 联系起来，帮助我们看清它不存在于 supervised learning 或 Generative AI 中——特别是不存在于 backpropagation 或 gradient descent 中。
让我明确说一下 Generative AI 缺了什么。如前所述，这些系统确实有随机性的一面，所以它们确实能生成多样的轨迹和行为。缺少的是 Evaluation 步骤。生成器是通过 supervised learning 预训练的，在运行时没有办法评估它所生成的东西。当然，没有 Evaluation 就不可能有 Selective Retention，因此就不可能有 Discovery。变异可以带来新颖性，但如果没有评估，就没有 Discovery——可以说也没有创造力。也就是说，我认为创造力要求新生成的东西被评估。没有评估和保留最优，就没有任何东西被创造出来。新颖性闪烁着出现了，但如果它的价值没有被认识到，就会闪烁着消失、被遗忘。
在许多情况下，Evaluation 由人来完成从而做出发现。比如我们让 Generative AI 为我们生成很多图片，然后我们挑选最喜欢的。人+AI 系统共同完成了发现。
在许多其他情况下，Evaluation 来自一个明确的目标。某些走法导致将死，某些步骤通向证明，某些动作获得高奖励，某些基因型制造更多拷贝，某些理论更好地解释数据。
有些人更喜欢将 Variation 步骤称为「盲变异」(Blind variation)，这里的「盲」意味着它是不知情的，是在黑暗中射击。它不需要完全不知情；一个优秀的科学家不会随机选择要测试的理论。但它也不能完全知情和确定。必须对答案在哪里存在某种不确定性，才能有发现。在实践中，变异部分是知情的，部分是盲的，但正是盲的部分对应着发现。
现在让我们简要地一直深入到现代深度学习，到 backpropagation 算法。乍一看，backpropagation 似乎无法进行发现，因为它是确定性的，因此无法产生变异。但这并不正确。Backprop 的权重更新是确定性的，但权重被初始化为小的随机值。随机初始化经常被淡化，但实际上它是一种必要的变异形式；必须正确地进行才能获得好的性能。在 backprop 中，这种 Variation 只进行一次——在网络初始化时——因此其效果是暂时的，之后网络可能会丧失学习能力。这就是深度学习的一个弱点，而我的团队几年前在 Nature 上提出的一个新算法缓解了这个问题。我们的「continual backpropagation」做了一个小改动：每隔一段时间，一个较少使用的神经元会被重新初始化为小的随机权重。这使得变异得以持续，可塑性(plasticity)得以保持。
虽然关于创造力和发现还有很多可以说的，但这是关键点：它们超越了 supervised learning，超越了 pattern recognition，超越了 prediction，超越了 world modeling。这些东西很重要，但仅靠它们无法带我们走向发现。发现需要来自人或明确目标的 Evaluation，只有后者才能实现完全的自主性。
所以这就是我的号召。如果我们想要 AI 科学家的全部力量，那么我们应该把目标分享给它们，让它们能够创造、评估、发现，并以这些方式充分参与实现目标。让我们大胆一些！让我们全面自动化创造力与发现！