过去近十年,曹原一直身处人工智能快速演进的一线。他早期从事统计机器学习与机器翻译研究,之后加入 Google Brain,并在 Google Brain 与 DeepMind 合并后继续在 Google DeepMind 从事人工智能研究。


(资料图)

从神经机器翻译、对话系统、多模态模型,到大语言模型 Agent、Gemini,再到 Google Search 的 AI Mode,他的研究经历跨越了过去十年 AI 技术发展的多个重要阶段,也亲历了人工智能从相对单一的任务模型,逐渐走向今天能够处理语言、视觉、推理、代码以及复杂任务的大模型系统。

离开 DeepMind 后,曹原经历了一次完整的创业:公司获得了融资,技术也在真实产业场景中得到了不错的验证。这段从研究、产品到市场的经历,进一步深化了他对 AI 的思考——当模型被真正部署、使用并创造价值时,我们该如何理解这种能力:它是智能本身,还是一种越来越强的计算与模拟?

今天关于人工智能的讨论,往往在两个极端之间摆动。一端是技术和资本推动下不断升温的叙事:更大的模型、更多的数据和算力,似乎最终可以通向越来越一般化的智能。另一端则关注的是 AI 是否真正理解,是否拥有意识,甚至是否会取代或者毁灭人类。曹原更关心的是这两类讨论背后一个更基础、也更科学的问题:今天的人工智能究竟已经解决了什么,又有哪些问题仍然没有解决?现有的计算范式能够把智能推进到什么程度?它的边界又可能在哪里?

这也是 DeepTech 与他展开此次对话的起点。在曹原看来,过去几年的人工智能浪潮毫无疑问是这个时代最重要的技术革命之一。大模型已经展现出远超许多人此前预期的能力,并正在改变软件、知识工作、科学研究以及人与计算机交互的方式。无论从技术进步还是经济价值来看,他对 AI 的长期发展都持乐观态度。但也正因为 AI 的能力增长如此迅速,他认为,现在比以往任何时候都更需要冷静地讨论另一个问题:我们究竟应该如何理解 AI 今天展现出的能力?

在这次对话中,他并不试图回答一个简单的“AI 行不行”的问题。对今天的 AI,他既不是乐观主义者意义上的无限外推者,也并不怀疑 AI 将继续创造巨大的技术和经济价值。他更希望把人工智能重新放回一个科学问题之中:什么是智能?哪些智能过程可以被计算所刻画?计算、逻辑与数学能够在多大程度上描述智能?而当模型越来越强大时,我们又应该如何理解能力增长与智能本质之间的关系?

以下是 DeepTech 与曹原的对话。

“你饿了,但机器不会饿”

DeepTech:你的个人主页上有不少抽象艺术配图。选择这些图片,只是审美偏好,还是也与你对 AI 的判断有关?

曹原:我喜欢比较简洁、抽象的艺术风格。但它也会让我想到一个和 AI 有关的问题:我们今天的模型究竟是怎样获得创造力的?现在的大模型,本质上仍然是从大量人类产生的数据中学习。它们可以学习语言,视觉和思想中非常复杂的结构,也能够对这些结构进行组合、变形和外推,产生很多以前没有直接出现过的结果。

这种能力已经非常强,也远远超过了过去人们对统计学习系统的想象。但我感兴趣的是更进一步的问题:如果一个智能系统没有接触过某一种表达形式,它能不能自己发明出这种表达形式?比如最早的人为什么会想到把看到的动物画在洞穴里?为什么会产生音乐,用声音表达情绪?这里不仅涉及怎样画,怎样作曲,还涉及“为什么要做这件事”。

人类的创造并不只是生成一个结果,背后还有欲望,情绪、好奇心、审美和各种内在驱动力。今天的 AI 可以很好地模拟这些行为留下来的结果,但这些驱动力和体验本身是难以通过语言表征,转换训练数据的。

DeepTech:但人的创造力同样受经历和环境限制,新想法也可能是过去经验的重新组合。为什么你认为人与 AI 仍然不同?

曹原:重组是创造过程中非常重要的一种模式。人类大量的创新都是已有概念、经验和知识的重新组合,AI 在这方面也已经表现出很强的能力。但我想需要区分的是一个系统能不能产生新颖的组合,以及是什么驱动了它去探索某一种组合,甚至创造新的概念和新的问题空间。前者更多是搜索和生成的问题,后者则涉及什么在驱动认知、什么决定一个方向值得被探索。

这最终会回到一个更根本的问题:人类智能是否可以被一个计算系统完整描述?或者反过来说,计算、逻辑和数学究竟能够在多大程度上刻画智能?我倾向于认为人类认知中存在一些非常基础的结构,例如对时间、空间、因果的直觉,以及好奇心、审美、情绪和内在驱动力。这些能力当然也会受到学习和环境的塑造,但它们究竟能不能被完整还原为一种形式化的计算过程,目前并没有答案。

其实这并不是 AI 时代才出现的问题。过去哲学家会问,人是怎样认识世界、怎样形成概念和知识的,认知科学会问大脑如何产生知觉、语言和意识。到了 AI 时代,这些问题被转换成了一种新的形式:人类智能中的哪些部分可以被计算所描述,计算能够在多大程度上刻画智能,又是否存在某些仅靠现有计算范式很难触及的部分?我想,这比简单地问“AI 能不能创新”更接近问题的本质。

DeepTech:品味虽然很难定义,但并非完全不可分析。一首歌为什么好听,可以拆成曲式、节奏、风格和个人记忆。如果拆得足够细,AI 能不能复制一个人的品味?

曹原:可以举一个更简单的例子。如果你告诉我“我很饿”,我知道这句话是什么意思,因为我也有过类似的身体经验。但即使如此,我仍然无法直接体会到你的感受。我不知道你此刻的“饿”和我的“饿”是不是完全一样。我们只能通过语言、行为和各种外在信号去传递信息,互相推断。这就涉及一个很基本的问题:一个人的内部体验,能够在多大程度上被外部表达完整地传递出来?

品味也是类似的。你可以解释为什么喜欢一首歌,为什么它让你感到愉悦。你可以谈它的旋律、节奏、和声,也可以说它让你想起童年的某段经历。这些信息都可以被记录,也都可以成为 AI 的训练数据。但这些描述本身,并不等同于你真正听到这首歌时的主观体验。

所以这里需要把两件事分开。第一个问题是,AI 能不能根据足够丰富的数据,对人的偏好,情绪和行为进行越来越准确的建模。这一点是可行的,也是今天已经在发生的事情。

第二个问题是,外在行为上的高度一致,是否足以说明机器拥有了与人相同的内部体验?这并不能直接从前一个问题推出,模拟的行为和主观的体验是完全不同的。对于你的问题来说,这个区别很重要。它提醒我们,可观测、可表达、可建模的信息,与一个人真实经历的主观体验之间,并不能简单画上等号。

我们能够体验到的,往往比能够言说出来的多得多。

AI 是理解我们,还是见过与我们相似的人?

DeepTech:很多 AI 重度用户会有一种体验:模型有时比身边的人更理解自己。人和人之间同样存在信息损失,而 AI 接触过的数据远多于普通人。它有没有可能因此理解得更好?

曹原:某种程度上是的,而且在很多场景下,它甚至可能比一个具体的人表现得更“懂你”。

一个相关的例子是搜索引擎。在搜索引擎出现之前,一个人的信息来源可能主要来自身边的人、报纸、电视和图书馆。但搜索引擎能够在远超个人经验的范围内找到与你的问题相关的信息。AI 又把这种能力往前推进了一步。

它不只是检索信息,还可以从大量人类表达中学习不同处境、情绪和行为之间的关系。当你向 AI 描述一个具体处境时,它可能接触过大量相似的表达,因此能够给出一个你未必预料到、但又非常合情合理的回应。从功能上看,我们完全可以说,它在某些情况下“理解”得很好。

但这里需要区分不同意义上的“理解”。一种是功能性的理解,也就是系统能不能根据你的输入判断你的处境,并给出恰当的回应。按照这个标准,今天的 AI 已经表现出了非常强的能力。另一种则涉及内在经验,它是否以某种与人相似的方式经历这些状态。比如前面提到的,如果你说“我饿了”,AI 可以很自然地回应“那你去吃点东西”或者“你今天是不是太忙了”。这样的回应可能非常得体,也完全可以对人产生实际价值,但 AI 本身并没有饥饿这种身体经验,所以它的理解仅限于训练数据赋予它的世界。

所以 AI 的功能性理解可能非常有用。但我们仍然需要区分一个系统在行为上表现出理解,和它是否拥有类似于人的内在经验,并从这种经验中产生理解。两者可以高度相关,但并不是同一回事。

DeepTech:模型已经能够给出恰当的回应,你为什么仍认为这是一种“模拟”?

曹原:很多“模拟”都非常真实,也非常有用。比如天气模拟、流体模拟,都可以产生重要的预测。问题在于,一个系统能够在外部行为上很好地再现某种现象,并不自动意味着它内部经历的是同一个过程。

人工智能历史上有一个很有名的“中文房间”思想实验。假设一个完全不懂中文的人待在房间里,只是按照一套非常复杂的规则处理中文符号。对于房间外的人来说,这个房间可能表现得完全像一个懂中文的人,但从房间内部来看,至少那个执行规则的人并没有我们通常所说的中文理解或语言体验。

当然,今天的大模型远比这个思想实验所描述的系统复杂得多。它肯定不是简单查表,模型内部会形成高度复杂的表征,并表现出泛化和推理能力。所以中文房间不能简单地被当作一个证明,用来说明机器一定不能理解语言。它真正提出的是另一个更重要的问题:我们在多大程度上可以仅仅根据一个系统的外在行为,推断它内部存在什么样的理解。

今天的大模型在很多熟悉或结构相对稳定的语境中可以表现得非常好,甚至会让人产生一种“它真的懂我”的感觉。但一旦遇到很少出现过的语境,比如一种罕见的心理状态或表达方式,那种“塑料感”就可能出现。通过计算过程模拟理解,与证明理解本身可计算,是两个不同的问题。对于前者今天的 AI 已经做得越来越好,但后者则仍然是一个没有解决的问题。

DeepTech:但人类社会的大量互动同样依靠外在形式。一个人明知陪伴型 AI 没有感情,只要在那一刻得到安慰,效果就已经发生。如果结果有用,内在理解是否一定重要?

曹原:从实际应用的角度看,今天的 AI 已经能够对很多用户请求给出合理甚至非常出色的回答,这本身就足以证明它的实际价值。一个系统是否有用,并不取决于它是否以和人完全相同的方式理解问题。

但真正值得讨论的是,这种能力能扩展到什么程度。如果一个系统没有对问题形成足够深的内部理解,它就很难对任意开放情境都持续给出可靠的回答。

今天的 AI 主要依赖从大量已有数据中学习结构、规律和关联,因此在存在大量先例、可以从已有经验中泛化的问题上非常强。但当问题越来越开放,缺少现成范式,甚至要求系统自己提出新的概念、新的问题和新的研究方向时,这种区别就会变得重要。

如果没有对问题原发性的理解,是无法通过消化训练数据给出合理的解答的。形式模拟有它的极限。遇到需要好奇心、灵感,或者没有现成模式可以匹配的问题时,它无法可靠地给出解答了。

从另一个角度而言,即使结果正确,过程是不是完全不重要?比如一个数学定理,AI 给出的证明是对的,人们也需要理解这个证明为什么成立,它揭示了什么结构,有没有价值推广到其他问题。

如果 AI 给出一种有效药的配方,我们也需要理解它为什么有效,作用机制是什么,会有什么样的风险。这也是工具理性和价值理性的区别。工具理性关心能否达到目的,价值理性还会追问过程和手段是否有价值。最理想的情况是两者吻合。

把 AI 当作完成任务的工具,结果正确可能已经足够。但如果从科学研究的角度讨论它能否做到更多,仅靠模拟是不够的。对我来说,这也是为什么研究 AI 的边界仍然重要。不是为了证明 AI“不行”,而是为了弄清楚哪些能力可以通过现有的计算方法不断扩展,哪些能力可能需要新的机制,以及下一代 AI 真正值得突破的地方在哪里。

一千米算近,一千零一米呢?

DeepTech:世界模型被视为突破语言模型局限的一条路径。让 AI 不只学习文本,也通过视频和物理环境获得经验,能不能解决内驱、直觉和常识的问题?

曹原:构建世界模型学习物理世界的动态变化规律非常重要。它可以改善 AI 的很多能力,但它也有难以解决的问题。模型可以学习一段视频怎样从上一帧变化到下一帧,也可以从大量连续的观测中捕捉物体运动、空间关系以及事件之间的因果联系。它可以帮助生成更符合物理规律的视频,也可以让自动驾驶系统更好地理解道路环境、预测其他车辆和行人的行为。这些都非常有价值,也是当前 AI 很重要的发展方向。

但问题在于,只要我们仍然是在建立一个模型,它最终还是要依赖能够被观察、记录和测量出来的数据。虽然很多规律可以通过数据学习,但人的认知中还有一些很难被精确定义的部分。比如“很快”“很慢”“很远”“很近”这些概念,我们每天都在使用,却很难给它们划出一条严格的边界。

如果我说学校离家很近,你通常会立刻明白我的意思。你并不需要先规定一公里内算近,一千零一米以上就算远。或者如果我说我很快就回家,你也不需要精确地规定五分钟内回家就很快,而六分钟就算慢了。这些对于物理世界中时间、空间、物体、秩序的常识性的直觉感知,是生物赖以生存的基本条件,也是难以通过数学模型精确地刻画的。

DeepTech:“远”和“近”也依赖语境。在适合步行的城市,三公里可能不近;在依赖汽车的地区,半小时车程也可能算近。既然人的判断同样由环境塑造,AI 为什么不能从足够多的上下文中学会?

曹原:当然可以学,而且今天的大模型已经非常擅长学习这类上下文关系。但是 AI 学习的概念和关系是来自于他们出现的语境,只要数据中存在稳定的规律,它就可以从中学习并提取模式。问题在于,人类的一些认知是否能够被完整地还原成这些可观测、可表达的数据。我们知道的,往往多于我们能够明确说出来的,而能够说出来,写下来或者形式化的部分,可能只是认知活动的一小部分。

比如上面提到的,如果规定零到一千米算“近”,那么一千零一米算近还是远?一千零二米呢?“近”本来就不是一个依靠精确边界工作的概念,难以通过某一个数学对象比如向量准确地表征这样的模糊和抽象概念。语境和上下文当然会改变我们的判断,但训练数据中的语境毕竟是有限的,它无法消除这种概念中的模糊性。

更重要的是,人对时间、空间、速度和因果的很多基本判断,是感知到的而并不是通过定义获得的。动物捕猎时,需要判断自己与猎物的距离、速度和时机,但它不会先定义什么叫快、什么叫慢,再决定下一步行动。这些能力更像是在长期的感知、行动和进化过程中形成的认知结构。

世界模型可以从可观测和衡量的数据中学习大量物理规律,这一点非常重要。而我的疑问是,它能不能通过这些数据获得与生物相同的先验体验。数学,逻辑和模型的边界就在于它们只能够描述可以明确测量和表征的现象,而生物很多赖以生存和形成智能的先验直觉却恰恰是无法精确描述的。

会解决问题,不等于会发现问题

DeepTech:如果今天的模型仍缺少你所说的先验和内驱,应该怎样理解 AGI(通用人工智能)?AI 是否可以拥有智能?

曹原:AGI 本身就是一个定义非常模糊的概念。今天商业和工程语境中的 AGI,与认知科学意义上对“通用智能”的讨论,并不完全是一回事。

在商业语境里,人们通常更关心 AI 能够以多高的可靠性完成多少有经济价值的任务。按照这样的标准,AGI 更像是一个能力覆盖范围的问题。写作、编程、数学、推理、客服,以及越来越复杂的知识工作,只要完成的质量可以衡量,就可以通过不断迭代更好的模型、更多的数据、训练方法和推理机制去提高。从这个意义上说 AI 肯定还会持续取得进展,很多今天看来还很困难的任务,未来都可能变成常规能力。

但如果从认知科学的角度讨论 AGI,问题就复杂得多。我们不仅要问一个系统能不能解决给定的问题,还要问它如何形成概念、如何理解世界、如何产生目标,以及如何判断什么问题值得解决。比如,一个从来没有接触过数学的智能系统,能不能仅仅通过与世界交互,自己形成“数”的抽象概念并推导出整个数学体系?它能不能不依赖人预先定义研究目标,而主动发现一个具有重大科学意义的问题,从观测中提炼出物理定律?甚至可以考虑一个完全没有在语言数据上训练过的系统,能否通过与世界的互动自主地发明语言和文字,能否提出“光阴似箭”这样的比喻?

今天的 AI 已经很擅长在一个给定的问题空间里搜索答案,但这个问题空间本身,大多数时候仍然是由人来定义的。人决定什么值得研究,什么结果是重要的,什么方向值得投入,然后让 AI 去搜索、推理和优化。但是会解决问题和会定义问题,并不是同一种能力。

对于前者我们已经看到 AI 在快速进步,而后者涉则及抽象概念形成、内在驱动力、价值判断和目标生成。如果我们把这些能力作为 AGI 一部分,那么它们是否能够通过某种计算过程产生依然是一个没有解决的科学问题。所以关于“AI 是否可以拥有智能”,这很大程度上取决于我们怎么定义“智能”,以及计算能够给在什么精度范围内近似人类心智。

DeepTech:如果未来的 AI 真的可以创新,人相对于它的优势还剩下什么?

曹原:人的价值仍然在那些无法被数据完整捕捉的部分。能够言说、能够被形式化的东西,可以变成自然语言、数学语言或者程序的思维过程和行为,迟早可能被 AI 捕捉并掌握。但人的很多经验并不是以这种形式存在的。个人的感受、直觉,价值判断、审美,以及一些难以被完整表达出来的内在经验,并不能简单地转化成一组数据。这些深层的心智驱动力是 AI 只能近似而无法真正获得的。

DeepTech:这种判断是参与模型研发后逐渐形成的,还是你一直有类似的想法?

曹原:其实我很早就在思考这些问题。读博士的时候,我看到很多机器学习的论文都会提出一种新的模型或者算法,把某一类任务做得更好。那时候还没有像今天大语言模型这样的相对统一的人工智能范式,机器翻译、语音识别、计算机视觉往往都有各自不同的模型和方法。给我的感觉是,我们不断在刻画智能的某一个侧面,但每一种方法都更像是一个局部的切片。

这也让我一直有一个疑问,就是为什么我们很难找到一种像物理定律那样简洁、统一的理论,去描述如此多样的人类智能行为?对于物理学来说,我们研究的是外部世界。通过观察和测量物体之间的关系,可以逐渐推测并抽象出相对稳定、普适的规律。但人工智能的研究有一个很特别的地方,我们实际上是在用人的认知系统,试图理解并重新描述认知本身。

而人的思维并不是一个能够被完整观测的对象。我们可以观察输入和输出,可以测量行为,也可以建立数学模型去解释其中一些规律,但大量思维的内部过程并不能被观测到,而且人的认知本身又是极其复杂和多样的。所以对我来说,人工智能最后会自然地走向一个更基础的问题,就是数学、逻辑和计算究竟能够在多大程度上描述智能?它们能不能完整刻画人的思维过程?或者说,人脑最终是否真的可以被写成一个与它在认知上完全等价的程序?

我觉得这不仅是一个根本的问题,它其实也会影响我们怎样理解今天的大模型,以及未来人工智能应该往什么方向发展。

DeepTech:这让我想到,你之前的一个比喻,你把大模型比作一张网。这个比喻具体指什么?

曹原:我想大模型可以比作一张越来越密的网。模型越强大、数据越多、计算量越大,这张网就织得越密,它的确可以做得越来越好。但它依然是一张网。拿网去兜水,总有一部分水会从网眼里漏出来。

因为网终究是由离散的针线织成的,它可以不断逼近一块密封的材料,缝隙却永远不会真正消失。大模型也是一样,无论怎样扩大规模、调整方法、增加数据,它始终是通过一套形式化和离散的系统在近似智能。而我认为总有一些东西,是语言符号和数学模型无法精确刻画的,就像有理数可以逼近却永远无法等同于无理数。

足够有用,不等于没有边界

DeepTech:这种判断如何影响你的技术路线?如果语言模型只能在已有数据中采样,怎样拓宽它的思路?

曹原:语言模型已经非常强大,但它的基本机制仍然是利用已有数据形成的统计分布进行预测和生成。它擅长提取、组合和重构已有模式,但也因此更容易沿着有限的训练数据中高概率,常见的路径展开推理。

如果希望 AI 具备更强大的能力,特别是开放的智能和知识发现能力,就不能只依赖这种概率分布自身。我们可能需要引入一些统计模式之外的机制,拓宽模型的思路,使其能够突破训练数据分布的局限性,让模型不只是回答“最可能是什么”,也能够系统地探索“还有什么可能”。

语言模型在处理模糊语义,整合知识和生成推理过程方面已经非常出色,但它在开放性和创造性的思维上依然有所局限。一个更高层次的智能系统需要能够持续探索和动态创新,而我们可以想象这样的系统将会是语言模型的一个超集。

DeepTech:你一边尝试拓宽模型的能力,一边强调它的理论边界。在当前的 AI 热潮中,更大的风险是低估它的现实价值,还是高估它的终点?

曹原:如果从今天的商业和大众叙事来看,我觉得更大的风险已经从过去的低估,逐渐转向了高估。

过去,人们确实严重低估了语言模型。语言模型是一个很古老的方法,早在 1970 年代就已经被提出。预测下一个单词听起来是一个非常简单的学习目标,很少有人真正预料到,当模型规模、数据和算力持续增长之后,它能够涌现出如此广泛的语言、推理、代码和知识能力。即使放在五年以前,今天很多能力也很难想象。

但反过来,正因为我们正在经历一段非常陡峭的增长期,也更容易产生一种错觉:只要继续扩大模型、数据和算力,这条曲线就可以一直按照今天的速度向上延伸。我觉得这里需要更加谨慎。很多技术都会经历类似 S 型的发展过程,在某个阶段快速增长,但随着已有范式的潜力逐渐被挖掘,边际收益最终会下降。真正重要的问题是,我们今天看到的增长究竟主要是在释放现有范式的潜力,还是已经足以说明这套范式能够覆盖智能的全部问题。

太过狂热和太过保守都是错误的。毫无疑问 AI 已经非常强大,可以做很多事情,产生巨大经济价值,而且还会继续进步。但同时我们也不能因为 AI 已经非常强大,就认为它会解决所有问题并替代人类。

现在的 AI 研究在很大程度上是一门高度工程化的学科,大家关注集中在如何训练和改善模型架构,如何扩大规模,如何获取数据,优化学习和推理算法,以及提高计算和系统效率。这些工作都非常重要,也推动了过去几年的巨大进步。但相对来说,从计算理论,认知科学和以及智能本身的结构出发,系统地研究智能与计算之间的关系,研究现有范式能够做到什么,不能做到什么,未来的 AI 技术应该向什么方向发展,这样的工作仍然是不够的。

所以我觉得下一阶段有意思的问题,不只是把今天的 AI 进一步做得更大、更快、更便宜,而同时要更清楚地思考我们今天究竟走到了哪里,当前范式的潜力还有多大,有哪些它还无法跨越的问题,以及下一种新的智能范式可能从哪里出现。

DeepTech:你自己使用 AI 多吗?这些终极层面的怀疑,会影响日常使用吗?

曹原:当然用,而且用得很多。比如修改邮件,起草文档,写代码、检索理信息等等,这些日常工作 AI 都已经可以做的很好。在使用这些工具的时候,并不需靠思考一些那些复杂的终极问题。但如果把 AI 不只是当作工具,而是当作一个研究对象,问题就不一样了。

我们不仅要问它现在能做什么,为什么能做到,还要思考它在什么程度上刻画了人类智能,以及这是不是走向通用智能的最终方案。恰恰因为今天的 AI 已经如此强大,我们才更有必要认真理解它的从何而来,走向何方。

AI 在未来会给出越来越多答案。但什么问题值得被提出,为什么一个问题重要,技术最终会走向哪里,这些问题本身仍然需要人来思考。

参考资料:

https://yuancao.me/

https://scholar.google.com/citations?user=p28z3SQAAAAJ&hl=en

运营/排版:何晨龙

推荐内容