李开复对谈 Tom Mitchell：AI 领域 40 多年，真正不变的是什么？
近日，零一万物CEO李开复博士，与卡内基梅隆大学（CMU）计算机科学学院建院教授、世界首个机器学习系创立者 Tom Mitchell 展开深度对谈。
两位横跨 AI 学术史与产业化进程的重要亲历者，从 20 世纪 80 年代语音识别的技术路线分野谈起，回望机器学习如何从专家系统时代走向深度学习、大语言模型与产业 AI 时代。
Tom Mitchell Tom 是全球机器学习领域的奠基人之一。他在 1997 年出版的经典教材《Machine Learning》，影响了几代 AI 研究者。此外，Tom 是美国国家工程院院士、美国艺术与科学院院士，并入选国际人工智能协会（AAAI）Fellow，在人工智能、认知神经科学和机器学习的交叉应用领域做出了卓越的历史性贡献。 这场对谈之所以值得今天重新阅读，并不只因为它回顾了一段 AI 技术史，更因为它回答了一个正在被产业反复验证的问题：AI 的每一次跃迁，究竟靠什么发生？从隐马尔可夫模型到 Transformer，从语音识别到大语言模型，技术范式持续变化，但真正推动进步的底层变量，始终围绕数据、算力、模型架构与真实问题展开。 对今天的企业 AI 与产业大模型实践而言，这一点同样关键。真正重要的不是“炫技式创新”，而是能解决真实问题的“有用的创新”。 大模型能力越过技术拐点之后，竞争焦点不再只是模型能力本身，而是能否进入核心业务流程，形成可验证、可交付、可持续优化的业务闭环。零一万物持续推进企业 AI、产业大模型与企业级多智能体实践，正是在这一长期技术逻辑之上，将模型能力转化为真实业务价值与组织智能。 以下为对谈全文。 01 在AI世界里 没有什么比更多的数据更重要 Tom Mitchell： 你很早就把机器学习，尤其是隐马尔可夫模型（Hidden Markov Models），引入语音识别领域。那还是你做博士论文的时候。你能不能简要解释一下，这到底是什么？为什么这一步对这个领域如此重要？ 李开复：1979 年，我进入哥伦比亚大学读书时，就对人工智能产生了浓厚兴趣。我认为，AI 是人类认识并理解自己的最后一里路。我们在探索大脑的工作机制的同时，也是在尝试回答一个更重大的问题：我们究竟能否创造出比肩或稍逊于人类的智能体。 这成了我一生的梦想。 我的导师之一约翰·肯德尔（John Kender）是卡内基梅隆大学（CMU）的毕业生，当时在哥伦比亚大学任教，他把我推荐到了CMU，我非常幸运地被录取了。 李开复向CMU提交的博士申请信 在 CMU 有一个“双向选择”的过程，我有机会听每位教授介绍自己的研究方向。拉吉·瑞迪（Raj Reddy）描绘未来愿景时展现出的自信和热情，深深打动了我。那时我也考虑过机器学习里的几个其他方向，但语音识别最吸引我。 当时我选择语音识别，是因为它是一个相对可定义、可约束、也有机会被解决的问题。那时计算效率很低，算力昂贵。通用自然语言理解、计算机视觉这样的问题太庞大，而语音识别可以先在有限领域内，把语音转换成文字。 当时美国一个政府研究机构正在支持一个大型项目，目标是在限定领域内实现非特定说话人的连续语音识别系统。主流路线是专家系统。许多人相信，如果人类专家能看着声谱图判断说话人在说什么，机器也应该能基于规则做到。 但我通过彼得·布朗（Peter Brown）接触到了另一条路线：隐马尔可夫模型。这是一种基于概率统计的机器学习方法，天然适合处理语音这样的时间序列问题。 于是我去找 Raj，对他说，我尊敬您，也热爱语音识别，但我能不能尝试一种不同的方法？我想用隐马尔可夫模型，为项目提供另一条解决思路。 Raj 说了一句非常了不起的话：“我不同意你，但我会支持你。”这句话让我终身受益。科学探索不能一开始就断定“只能走这条路”，而要允许研究者追求自己擅长且真正有热情的方向。AI 的突破很少来自孤立的灵感。真正改变历史的，是有人敢走不同的路。 随后，Raj 问我需要什么资源。我说，我需要大量数据。弗雷德里克·耶利内克（Fred Jelinek）有一句名言：“没有任何数据能胜过更多的数据。” 我成为了这句话的坚定信徒，直到今天依然如此。 规则能教机器服从，数据让机器开始理解。 当时 CMU 语音组拥有非常强的计算资源。做专家系统的人主要用这些机器标注声谱图，而专家系统本身并不太消耗算力，所以我得以使用 SPARCstation 上所有剩余的计算资源。我手里大约有 20 台 SPARCstation 可用，在当时已经是惊人的算力。 有 Peter 指导我学习隐马尔可夫模型，有 Raj 以他的智慧、战略眼光和鼓励做我的支持者，同时，我还拥有了海量数据和算力。这就是一切的开端。 02 96% 准确率背后： 技术突破来自正确变量的叠加 Tom Mitchell： 如果用今天的眼光看，语音识别已经和你刚开始研究时完全不同了。你能不能概括一下，当时的技术前沿是什么？你在隐马尔可夫模型上的工作产生了什么影响？ 李开复： 在我攻读博士之前，语音识别领域已经有一些早期商业化系统，但限制非常多。 例如 IBM 和 Dragon 都在做听写系统，但用户必须先训练系统。买到产品后，系统会要求用户朗读一批句子，然后花几个小时训练模型，以专门识别这个人的声音。这叫“特定说话人语音识别”。 另一类系统来自贝尔实验室。它不要求每个用户训练模型，但只能识别很少的词，比如电话系统里的数字或少量指令。它可以听懂不同人的声音，但词汇量非常有限。 我们当时面临的任务要求更高：连续语音、非特定说话人、大词汇量。当然，当时所谓“大词汇量”也就是大约 1000 个词，还不是今天意义上的开放式自然语言听写。 最初专家系统准确率很低，只有 10% 或 20%，后来逐渐提高，但仍未达到真正实用的水平。我记得单词准确率最高大概只到了50%或60%。我决定直接做同一个任务，因为它已经成为一个基准测试（Benchmark）：如果我能在这个任务上击败已有基准，就能证明我的技术路线是有价值的。 我明白，技术路线之争，不是靠辩论赢的，是要靠结果赢的。 我提出了一系列方法，改进了从 Peter 那里学到的东西。 IBM 的人其实也不知道我能否做出很好的结果，因为他们主要聚焦在特定说话人识别上。所以，IBM也希望了解这套方法在非特定说话人场景下是否可行。但他们不知道结果会怎样，我不知道，Raj 也不知道。当我建立了一个基础系统时，它的准确率达到了约70%到80%，这已经让人非常非常兴奋了。 纽约时报报道李开复博士论文 在此基础上，我主要做了三方面改进。 第一，改进隐马尔可夫模型结构，同时应用语音的语音学和声学层面的知识使其更好地建模语音学和声学特征。我从维克托·朱（Victor Zue）和他在CMU的同行罗恩·科尔（Ron Cole）那里学到了很多关于语音的语音学和声学层面的知识。比如，音素在不同上下文中的发音并不完全相同，例如 “bat” 和 “cat” 中的 “a” 听起来类似，但在声谱图中的表现会受到前后音影响。 第二，采用更好的信号处理表示。来自日本的访问学者鹿野清宏博士建议我使用梅尔倒谱（Mel-Cepstral Representation）表示法，而不是普通 FFT 声谱图，这带来了显著性能提升。 第三，在构建语言模型时，我没有直接使用上下文无关文法（Context-free grammar），因为配合维特比算法运行它非常耗时。在语言模型上使用二元语法和三元语法，也就是利用前一两个词预测下一个词。这在工程上非常重要。 这些因素叠加起来，最终带来了一个重要突破。我清楚地记得，在一个星期六醒来后，发现系统跑出了 96% 的准确率。我整个人都被震撼了，因为在此之前我能做到的最好成绩只有80%多。这件事说明，技术突破往往不是单点奇迹，而是模型结构、数据表示、上下文建模、数据规模和计算资源等多个正确方向同时叠加后的结果。 03 从 HMM 到 Transformer： 技术范式在变，扩展逻辑始终未变 Tom Mitchell：在接下来的这些年里，语音识别是如何一步步走到今天的？ 李开复：我的论文发表后，相关方法成为行业标准之一。CMU 将我开发的 Sphinx （斯芬克斯系统）授权给多家公司，后来又将其开源，为行业设定了一个性能基准。 但在博士论文之后的几年里，基于隐马尔可夫模型的改进逐渐变慢。它仍然能进步，但幅度越来越小。我在微软工作时，比尔·盖茨问我：“你觉得我们什么时候能实现完全的语音识别？”我回答：“希望五年内。”五年后他又问我，我还是说“五年内”。后来我意识到，靠这套方法无法真正到达终点。 下一次重大突破来自深度学习。当杰弗里·辛顿（Geoffrey Hinton）利用李飞飞教授的 ImageNet 数据库证明深度学习可以打破计算机视觉基准后，语音识别也很快迎来飞跃。 神经网络的想法一直存在，只是过去没有足够算力训练足够大的网络。一两层神经网络很容易被隐马尔可夫模型击败，但当层数增加、数据规模扩大、算力增强后，性能就会大幅提升。 再往后，就是今天我们熟悉的 Transformer 和大语言模型。这其中有许多突破：比如杨立昆（Yann LeCun）的贡献，以及吴恩达（Andrew Ng）所推动的端到端学习思路：不再将语言模型和声学模型视为相互独立的模块，而是把它们统一到同一个系统中进行训练。 从某种意义上说，今天大模型的进步与我当年做语音识别有相似之处：增加更多数据，设计更好的模型架构，获取大量计算资源，并让机器完成更多理解工作。 当年 IBM 和我使用二元语法、三元语法，本质上也是一种非常早期、非常“笨拙”的上下文建模。它只能看前一两个词；今天的 Transformer 可以关注上百万个词的上下文，并通过注意力机制进行选择性处理。 因此，回看 AI 技术演进，关键始终在于四件事：模型架构、海量数据、强大算力，以及处理上下文的能力。 今天我们正在目睹 AI 在越来越多场景下达到人类水平，并且在不久的将来，在更多场景中超过人类表现。 Tom Mitchell： 你认为语音识别的问题已经彻底解决了吗？ 李开复： 从技术层面看，它已经基本解决。仍然存在一些工程问题，比如嘈杂环境下的识别、终端设备离线运行、成本进一步降低等。但这些更多是工程问题，而不是基础科学问题。 04 大模型原住民正在改写 上一代 AI 研究者的认知 Tom Mitchell：过去五年里，让你最惊讶的事情是什么？接下来五年，你认为我们可能看到哪些惊喜？ 李开复：最大的惊喜有三个：Transformer 架构竟然能带我们走得如此之远，Scaling Law 竟然能持续奏效如此之久，以及强化学习终于在多年后发挥了关键作用。 我是 GPT-2 的早期测试者之一，当时就意识到，随着算力发展，Transformer 和注意力机制会带来巨大提升。但我没有料到，它能像今天这样扩展得如此庞大、深入。 今天 AI 在计算机视觉、机器翻译、聊天机器人、深度研究、代码生成、数学推理等方面取得的进展，很多都是我原本认为“有生之年也许会发生”的事，但没想到来得如此之快。 AI 的历史不是一条直线，而是一代人不断推翻上一代人的确定性。 坦白说，我当时并没有许多谷歌和OpenAI年轻研究员们那样笃定的信心。 我想这很大程度上是因为“路径依赖”，我被过去那种长期缓慢发展的节奏给“毒害”了，所以我花了一段时间才适应这个快节奏。 经验让人看得更远，也可能让人跑得更慢。所以，我确实预见到了它的到来，趋势是清晰的；但我认为像伊利亚（Ilya Sutskever）这些人的那种坚定信念，真的非常鼓舞人心且令人惊叹。 现在，我和许多人一样，都在向年轻一代学习。 如果你看那些被OpenAI雇佣的极其年轻的人才，他们只有20多岁，在大语言模型时代长大，所以他们的思想完全是“未被约束”的。 就像我当年很幸运地在机器学习领域未被更早期的“专家系统”约束一样。 那些深度学习时代的原住民，曾经震撼了上一代 AI 研究者；现在，生成式 AI 和大语言模型时代的原住民，又让深度学习时代的人深受震撼。 未来几年，我相信还会有更多惊喜。如果 AI 做出突破性的科学发现，我不会感到惊讶。我敢肯定，三四年内，在AI领域就会出现诺贝尔奖级别的突破。当然，真正被授予诺贝尔奖可能需要更长的时间。一旦 AI 能加速科学发现，它带来的将不只是效率提升，也可能推动健康寿命延长、物质财富增加，以及更多人类难题的解决。 05 要么与巨头合作 要么去发明下一个Transformer Tom Mitchell：如果你能对即将入学的计算机科学与 AI 专业博士生说几句话，你会给他们什么建议？ 李开复： 我会给出一个非常务实的建议。今天基于 Transformer 的生成式 AI 要继续发展，必须建立在庞大算力基础设施之上，而多数纯学术机构并不具备这样的条件。因此，如果学生想参与这些历史性突破，就要寻找那些与拥有大量计算资源的企业有合作关系的教授。这样既有学术自由，也有必要的算力资源。 如果没有这样的条件，或者不打算这么做，我的建议是：打破常规，寻找 Transformer 之外的下一个范式。 当所有人都在优化答案时，总要有人重新定义问题。 不要只是微调谷歌或 OpenAI 已经做出来的东西。如果没有充足计算资源，很难在他们的主战场上击败他们。但你可以做他们还不知道怎么做的事，去构建或发明下一个 Transformer，或者下一代强化学习机制。 这些方向风险更大，但可以在小得多的算力基础设施上进行早期测试。AI 领域真正稀缺的，从来不是共识，而是能被验证的非共识。 那些在谷歌崛起后仍固执己见做传统信息检索的人，最终走进了死胡同。 在自动驾驶的早期阶段，CMU和斯坦福取得了令人惊叹的成就；但一旦Waymo、特斯拉等巨头入局，制造下一辆自动驾驶汽车就不应该再成为一个纯学术研究课题。 要么你跟Waymo或特斯拉合作，要么你就去研究下一个前沿领域，这就是我的建议。 学术界的未来依然光明，但必须脚踏实地。
