从特征工程到超级智能：理查德·索彻论人工智能的下一个前沿

IAICA.com.cn----thoughteconomics.com  2026年4月15日 · 

 

作者：Vikas Shah MBE DL博士

很少有人能像理查德·索彻那样直接地塑造现代人工智能的发展轨迹。在斯坦福大学攻读博士学位期间，他力主将神经网络应用于自然语言处理，而当时学术界对此持怀疑态度。他发明了应用最广泛的词向量和上下文向量，并开创了提示工程的概念，这一概念后来成为大型语言模型时代的核心。索彻的学术论文引用量超过23.5万次，曾荣获斯坦福大学博士论文奖，并入选《时代》杂志“人工智能百强”榜单，十多年来，他一直处于人工智能研究的前沿。在Salesforce收购了他的创业公司MetaMind之后，他担任Salesforce的首席科学家和执行副总裁。之后，他创立了You.com——首个将大型语言模型直接集成到搜索引擎中的平台——以及AIX Ventures，一家致力于支持下一代人工智能原生公司的基金。

在与Thought Economics的对话中，Socher 回顾了其学术历程：从早期对神经自然语言处理（NLP）的逆向投资，到通过快速工程实现该领域的统一，再到创新者的困境如何让一家初创公司在人工智能搜索领域超越谷歌，以及他目前在Recursive公司致力于使人工智能系统能够在极少人为干预的情况下自我改进。他对超级智能安全辩论提出了令人耳目一新的重新定义，认为多个超级智能的存在会将灾难的净风险降至零，并有力地论证了他所谓的“建设性乐观主义”——一种哲学信念，即技术若能被赋予自主性，仍然是人类进步的最强大工具。此前，Thought Economics还曾与Mo Gawdat、Federico Faggin、Jaan Tallinn和Noam Chomsky就人工智能及其影响进行过对话。

问：在当时大多数同行都对神经网络和自然语言处理不屑一顾的时候，您却大力推进这方面的研究。是什么让您坚信这非常重要？

[理查德·索彻]：我可能从青少年时期，甚至更早的时候，就有点叛逆。但我认为归根结底还是源于基本原理。我看到斯坦福大学那些才华横溢的博士生写出了很多关于复杂统计模型的精彩论文，但当他们真正想让模型发挥作用时，却把大部分编程时间都花在了设计特征上，而这些特征最终都被输入到那些精美的统计模型中。这显然存在矛盾。当我幸运地听说像斯坦福大学的吴恩达（Andrew Ng）这样的一小群人开始探索计算机视觉领域的这些想法时——在计算机视觉领域，一切都已经是向量，很容易输入到神经网络中——我想，既然他们能在视觉领域学习特征，我们或许也能在自然语言处理领域做同样的事情。这正是一个典型的例子，人们将不同领域的不同想法结合起来，并在交叉点上发现了奇迹。

问：是不是因为这个原因，你才认为即时工程如此重要？因为在当时，即时工程会取得如今这样的突破性进展，或许并非一个合乎逻辑的结论。

[Richard Socher]：在2010年代初期，我的目标是摒弃手动特征工程，用神经网络进行端到端的训练，从原始文本数据到最终你关心的结果。当时我觉得我们推动了整个领域的发展，让大家意识到一切都应该用神经网络来实现，但那时大家都在做架构工程。我当时想，虽然我们现在的水平更高了，但在这个所谓的人工智能领域里，仍然有很多人参与其中。这主要是“研究生出身”，他们擅长提出各种想法，实现它们，验证它们等等。所以我想，这意味着每个团队都会做一些研究，然后也许你很幸运，能以某种抽象的方式掌握这些研究成果，但我们希望模型不断改进，最终拥有一个统一的模型。而要拥有一个不断改进的统一模型，唯一的办法就是摆脱架构工程，转而使用一个可以不断输入不同任务的单一模型。

这让我开始思考，我们如何统一所有自然语言处理任务？有两篇论文——一篇名为《问我任何问题》（Ask Me Anything），它首次提出了所有不同任务都可以归结为围绕特定上下文提出问题并输出结果的想法。另一篇是《decaNLP》，其中我们选取了十个最难的自然语言处理任务，并指出所有你能想到的对话都可以用这种方式来构建。

我们的想法是，如果想要连接整个领域，避免每个任务都需要手动进行特征或架构设计，就必须将所有功能统一起来。问题就变成了：什么是统一系统？而统一的自然语言系统本质上就是：一切事物都包含某种输入、某种关于该输入的任务或问题，以及某种输出。这促使我们开发了提示工程，现在看来这当然是一个简单而微不足道的想法，但实现它的方法却是必须训练一个适用于所有自然语言处理的单一模型。这个模型必须包含大量的注意力机制，解决各种不同的扩展性问题等等。当然，与现在相比，当时的规模仍然很小，但这是我们第一次能够真正将最棘手的任务——翻译、摘要、问答、词性标注、语义角色标注以及自然语言处理涉及的所有其他不同任务——统一到一个模型中。

有趣的是，最终审稿人认为这篇论文内容过于繁杂，试图统一自然语言处理（NLP）的想法很愚蠢。他们拒绝了这篇论文，而且这件事还被公之于众。你可以在OpenReview上找到ICLR投稿的审稿意见，从中可以看出当时人们觉得这个想法有多么异想天开。但幸运的是，我们的一些朋友，比如Alec Radford和Ilya Sutskever，看到了这篇论文，并从中获得了启发，还在他们早期的GPT论文中引用了它。就这样，这个想法得以延续。

问：You.com——顺便说一句，这个域名很棒——你们是第一个将大型语言模型集成到搜索引擎中的公司。你们比谷歌更早做到这一点。请详细说说，因为你们颠覆搜索引擎的方式非常强大。

[理查德·索彻]：在很多方面，感觉就像，好吧，我们是第一个，但不是最后一个——而且通常情况下，做最后一个反而更好。但当时，我们感觉信息社会的问题不再是我们无法获取信息，而是我们拥有的信息太多了。我们必须真正利用人工智能来帮助我们，不是获取更多信息，而是帮我们概括所有信息。这就是我们的目标——利用人工智能、大型语言模型、Transformer 模型以及自然语言处理技术，来概括搜索结果，并以更一致、更简洁的方式为人们提供更多有用的答案。这就是最初的计划。

不幸的是，当我们采用传统的早期发布和用户迭代方式时，用户大多会说：“这很棒，但我们希望它更像谷歌。链接能不能更蓝一些？能不能更醒目一些？” 我们让产品经理在顶部生成搜索结果摘要，但用户只是简单地滚动浏览。后来我们做了用户调研，问他们：“为什么你们会跳过顶部那个写着‘AI摘要’的精美摘要？” 他们回答说：“哦，谷歌把所有广告都放在顶部，所以我以为这里也有广告，就直接跳过了，直接看链接。” 我们心想，不，那才是亮点所在——那完全是AI生成的，里面没有任何广告。我们这里没有广告。

这真的很有意思。最终，我们彻底放弃了传统的搜索引擎，把法学硕士（LLM）推到了聚光灯下，让用户根本无法忽视它们。但随后，ChatGPT 的出现显然对消费者的市场营销造成了冲击。简而言之，现在我们为所有其他希望保持内容更新、准确且拥有引用的法学硕士提供搜索基础设施。也正因如此，我们的收入才得以稳步增长。

问：您的准确率比最佳竞争对手高出 10% 以上，延迟不到最接近的竞争对手的五分之一，而且精确率和召回率也显著更高。这些指标在设计过程中有多重要？其他公司没有做到而您做到了哪些方面？

[理查德·索彻]：这需要企业真正重视。不管好坏，我们对它的重视程度几乎到了过头的地步。很多人只是说，“哦，这项技术还不够精准，但我们还是加大市场推广力度吧。”也许在消费领域，这确实是更好的做法。但在企业领域，人们非常重视准确性。如果说了错误的信息，你可能会丢掉工作，所以我们找到了自己的定位，那就是在企业对企业（B2B）领域，为他人提供这些搜索结果。

我们如何做得更好？我们真心关注，并以此为核心。这源于我们的价值观——信任、事实、准确和友善。我们拥有一批杰出的研究人员和工程师，他们孜孜不倦地致力于此，不断提升技术水平，并将这些技术成果发布到API、博客文章、开源对比以及其他各种渠道，让所有人都能验证我们的准确性。我认为在API领域，我们通常可以做出更加客观的决策。而当需要做出主观判断时，You.com会胜出，因为我们比其他任何人都更准确。但在消费领域，更多的是关乎品牌、营销和设计中的氛围和触动人心之处。

问：我们是否需要重新思考智能的概念？消费者看到 Gemini 或 GPT 就认为“这就是人工智能”，但实际上，针对不同的应用场景，智能的形式多种多样。这与您正在同时开发的 Recursive 有何关联？

[Richard Socher]：从很多方面来看，智能包含不同的维度，改进智能的方法也多种多样。我认为You.com从未获得足够的资金来构建真正基础性的前沿模型。现在的问题是，我们都认同应该拥有一个统一的模型，并且这个模型应该不断改进，将越来越多的人类智慧融入人工智能。这很好。但现在人们却在对这些大型语言模型进行手动上下文工程、手动提示工程和手动单模型工程。他们运用大量的想法和直觉来改进模型，力求打造下一代GPT 5.6、7或8。而每一个模型的改进都伴​​随着大量的人工操作。

在Recursive，我们相信现在完全有可能让 AI 以递归的方式自我改进，而且所需的人工干预将远少于其他任何实验室目前所做的。我相信，就像从特征工程到架构工程再到提示工程一样，这是我们实现超级智能所需的下一个——或许也是最后一个——阶段。

问：您认为我们应该如何界定某种事物是否具有根本性的超智能？我记得您曾写过一篇关于人工智能安全性的精彩文章，它重新定义了我们作为一个社会应该如何思考人工智能的安全隐患。

[理查德·索彻]：我不知道是否存在一条单一的界限。我们应该从高维空间的角度来思考智力。一个轴代表语言智力，另一个轴代表视觉智力，还有一个轴代表运动智力。之后，想象三维以上的空间就比较困难了，但我们可以把第四个维度看作是社交和互动协调智力。而另一个轴则可以是元认知，以及你真正思考“盒子”的能力，也就是思考整个智力空间的能力。

这种基于体积的智能定义——我在书中对此有详细描述；书还没出版，今年会面——的棘手之处在于，这些维度在逻辑上既非必要也非充分。你可以是盲人，但仍然拥有智能；你可以没有实体，也无法操控物质，但你仍然可以拥有智能。我认为人类一直以来都试图仅仅基于自身以及其他生物的智能来定义智能，但显然，智能是一种超越生物学的概念和能力，它可以以不同的方式被重新创造。

问：您在文章中提到，超级智能有能力有效地为我们提供一流的防御，而且多个超级智能的存在可以将末日风险P(doom)降至零。您能否详细解释一下？因为读了您的文章后，我的看法确实发生了改变。

[理查德·索彻]：或许我有点儿唱反调，这或许能帮我指出这些问题。但我认为很多末日论者——他们说，哦，我们有了超级智能，然后A）它立刻就想杀光所有人，这完全说不通，为什么更高的智能就会导致更强的杀戮欲望；B）因为它超级智能，所以它拥有瞬间就能把我们全杀掉的神奇能力。让我们来分析一下。

最能体现钢铁侠论点的例子莫过于生物攻击。人工智能不知何故想要发动攻击，或许是人类说服了它，而且它拥有超高的智能。尽管你会认为，既然它如此智能，就应该知道需要人类来维护服务器等等，杀光人类毫无意义。但这和回形针的例子一样荒谬——它智能到足以毁灭全人类，却又不够聪明到知道如果没人买回形针，就没必要继续生产。这是一种超级智能和超级愚蠢的奇怪矛盾，两者混杂在一个场景中。

我认为更现实的情况是：人类利用这项技术和这套极其智能的系统，试图制造出这种超级病毒。当然，如果这种病毒能瞬间杀死所有接触它的人，那么它可能无法传播。像西班牙流感这样的病毒曾经是致命的，但现在它只是普通的流感。我们每个季节都会遇到它，而且它的致命性越来越低。但让我们想象一下，如果有一种极其复杂的病毒，它先是在全球各地传播，然后神奇地切换模式，杀死所有人。如果有人能够构想出一种人工智能，它拥有近乎神奇的完美可编程性，可以​​控制这种目前尚不存在的病毒——某种神奇的数字开关，可以激活每个人体内的生物机制——如果我们真的拥有了这种技术，我认为那些想要制造这种病毒的疯子所拥有的资源，将远远小于所有想要阻止它的人所拥有的资源。如果制造这种超级病毒如此便宜、容易且神奇，拥有如此惊人的能力，那我就会研制出一种针对所有此类超级病毒的超级疫苗。

过去，攻击者拥有巨大的优势，因为他们只需要成功一次，而防御者则必须始终保持正确。但如果我们做出我认为合理的假设——对于任何系统，无论是人类系统还是计算机系统，其潜在攻击向量的数量都是固定的，并且攻击任何此类向量的成本都趋近于零——那么作为防御者，我可以让同样的超级人工智能攻击我自己，并使我的系统免受每一种攻击。这个等式——成本如此之低，以至于我可以自己运行所有有限数量的攻击，然后使我的系统免受这些有限数量的攻击——实际上让我非常乐观。

问：我们应该如何以建设性的乐观态度看待这些技术？只需粗略浏览一下新闻，就会发现社交媒体正在危害所有人，人工智能将会毁灭我们。这种观点对您意味着什么？它又将如何改变我们与技术变革的关系？

[理查德·索彻]：我想我应该把这些写下来，整理一下思路。对我来说，这是一种理念，它认为对于大多数问题而言，最佳解决方案就是利用技术来解决这些问题。只要有可能，我们就应该保持乐观，相信总会有解决方案。一旦有了解决方案，并且你有能力去实施它，你就应该放手去做。

我认为现在有很多哲学流派，尤其是在欧洲，他们的观点是能源主要来自污染源，所以我们应该尽可能减少能源消耗，最大限度地降低能源使用量。基本上就是“去增长”，甚至“减少人口”。我的意思是，有些人极端到认为生孩子是不道德的，因为孩子对环境有害——他们会产生更多二氧化碳，需要开车接送，需要混凝土来建造房屋，而这些都是不道德的。这种想法简直是反人类、反进步的石器时代思维。令人惊讶的是，一些受过良好教育、聪明的人竟然会这么想，因为如果你真正回顾整个人类历史，你会发现情况一直在好转。这从来都不是什么令人兴奋的消息——说“嘿，情况好转了一点”也并不让人激动——但这正是我们所看到的。我们现在很少听到白手起家的故事，原因在于无论你多么贫穷，你都不必再穿破烂的衣服了。为什么呢？因为科技实现了T恤衫和其他服装的自动化生产。

我觉得这个想法其实让我很惊讶，即使是左翼人士也没有更积极地拥抱科技，因为客观来说，科技确实在改善生活。很多时候，我们可以通过科技来预测未来，无论是实际产品还是人类的生存状况。我们可以观察最富有的人，看看他们能够获得哪些受限于智能或技术的商品和服务，然后让这些商品和服务更容易被所有人获得。过去，拥有私人司机是件难事——但现在有了优步，大多数人都能负担得起私人司机的服务。私人助理对大多数人来说似乎遥不可及——但有了人工智能，现在你可以拥有私人助理了。私人导师、私人医疗团队（他们会阅读所有最新的研究论文，并全心全意地关心你的健康）也将如此——这些服务以前只有富人才能享受，而大多数人却无法企及。

问：每一次重大的技术飞跃都会消除人类工作和生活中那些琐碎乏味的部分，这意味着我们可以专注于真正让我们与众不同的事物。感觉您和您的同行们正在开发的技术正是在消除这些琐碎的日常，让我们能够真正专注于成为更像人的人，而不是更不像人。

[理查德·索彻]：没错。有趣的是，很少有人有闲暇去思考这些想法。大多数人只想着：“我下个月得有饭吃。我得好好工作。” 即使他们讨厌自己的工作，工作也赋予了他们意义，因为它让他们得以生存，也让他们的家人得以生存，如果幸运的话，甚至还能过上更好的生活。所以，这些人，以及那些对他们充满同情心的人，会说：“你们活在自己的世界里，根本没把这当回事。” 我确实认为我们必须面对现实，这些过渡阶段是痛苦的，而且如果发生在不恰当的社会环境中，甚至可能演变成暴力。

看看卢德分子，他们砸毁了织布机——“这台织布机抢了我们的工作，我们去把它毁掉！”我认为我们会看到类似的情况，而且实际上已经在人工智能领域看到了，它的影响非常直接、立竿见影，人们可以清楚地看到这一点。以前一幅插画能卖到一千美元，现在却可能被低价抢走——每个博客现在都有插图，但插画师们讨厌这种输出方式。这可以理解。我们需要社会系统来帮助人们度过这些过渡阶段，因为这些阶段非常难熬。但从长远来看，历史似乎表明，每一次自动化浪潮之后，人类的生活都会变得更好。回过头来看，没有人愿意回到过去说：“如果我们所有人都能下地干活，不管晴天、雨天还是雪天，今天都下地干活，那该多好啊！”——而这正是150年前95%的人都在做的事情。