黄仁勋最新万字访谈：AGI即将来临，AI将彻底改变生产力

大规模分布式计算是未来AI发展的重要方向

Brad Gerstner：

一端是正确的。马斯克是一端。是的，你，但你回答这个问题时一开始就说，是的，这里有 20到 30万个GPU集群。是的，对。这能扩展到 50万个吗？能扩展到 100 万个吗？你的产品需求是否取决于它扩展到 200 万个？

黄仁勋：

最后一部分是否定的。我的感觉是分布式训练必须有效。我的感觉是分布式计算将被发明。某种形式的联邦学习和分布式计算，异步分布式计算将被发现。

我对此非常热衷和乐观，当然，要意识到的是，缩放定律过去是关于预训练的。现在我们已经转向多模态，我们已经转向合成数据生成，后训练现在已经扩展得令人难以置信。合成数据生成、奖励系统、基于强化学习，然后现在推理缩放已经达到了顶峰。一个模型在回答你的答案之前已经进行了令人难以置信的 10000 次内部推理。

这可能并非不合理。它可能已经完成了树搜索。它可能已经在此基础上进行了强化学习。它可能，它可能已经进行了一些模拟，肯定做了很多反思，可能查找了一些数据，查看了一些信息，不是吗？所以他的背景可能相当大。我的意思是，这种类型的智能是。好吧，这就是我们所做的。这就是我们所做的。不是吗？因此，对于能力，这种扩展，我刚刚进行了计算，并将其与模型大小和计算大小每年 4 倍进行复合。

另一方面，需求在使用方面持续增长。我们认为我们需要数百万个GPU吗？毫无疑问。是的，现在这是肯定的。所以问题是，我们如何从数据中心的角度来构建它？这在很大程度上与数据中心是一次几千兆瓦还是一次 250 兆瓦有关。我的感觉是，你会同时得到两者。

Clark Tang：

我认为分析师总是关注当前的架构赌注，但我认为这次谈话中最大的收获之一是，你正在考虑整个生态系统和未来很多年。所以，因为英伟达只是在扩大或扩大规模，是为了满足未来的需求。这并不是说，你只能依赖一个拥有 50 万甚至一百万个GPU集群的世界。当分布式训练出现时，你就会编写软件来实现它。

黄仁勋：

我们七年前就开发了 Megatron。是的，这些大型训练任务的扩展会发生。所以我们发明了Megatron，所以，所有正在进行的模型并行性，所有分布式训练的突破和所有批处理以及所有这些东西都是因为我们做了早期的工作，现在我们正在为下一代做早期的工作。

AI改变了工作方式

Brad Gerstner：

那么我们来谈谈草莓和o1。我认为他们以o1命名很酷。这意味着招募世界上最优秀、最聪明的人，并将他们带到美国。我知道我们都对此充满热情。所以我喜欢这个想法，建立一个思考的模型，将我们带到下一个扩展智能的水平，对吧，这是对这样一个事实的致敬：正是这些通过移民来到美国的人，成就了我们，让我们成为现在的样子，将他们的集体智慧带到了美国。

黄仁勋：

当然。还有外星智慧。

Brad Gerstner：

当然。这是由我们的朋友 Noam Brown 带头的。推理时间推理作为扩展智能的全新载体有多重要，与仅仅构建更大的模型是分开的。

黄仁勋：

这是一件大事。这是一件大事。我认为，很多智能不能先验地完成。对。很多计算，甚至很多计算都不能重新排序。我的意思是，无序执行可以优先完成，很多事情只能在运行时完成。

所以，无论你是从计算机科学的角度还是从智能的角度来思考，太多的事情都需要背景。环境，对吧。还有质量，你正在寻找的答案类型。有时，一个快速的答案就足够了。这取决于答案的后果，影响。这取决于答案的使用性质。所以，有些答案，请花一个晚上，有些答案需要一周的时间。

是的。对吧？所以我完全可以想象我向我的AI发送一个提示，告诉它，考虑一晚。考虑一夜。不要马上告诉我。我希望你考虑一整晚，然后明天再告诉我。你对我最好的答案和理由是什么。所以，我认为从产品的角度来看，现在的质量，智能的细分。会有一次性的版本。当然。还有一些需要五分钟。

对吧？还有人类。所以如果你愿意的话，我们将成为一个庞大的员工群体。他们中有些是AI中的数字人，有些是生物人，我希望有些甚至是超级机器人。

Brad Gerstner：

我认为，从商业角度来看，这是一个被严重误解的事情。你刚刚描述了一家公司，它的产出量相当于一家拥有 15 万人的公司，但你只用 5 万人就做到了。没错。现在，你并没有说我要解雇所有员工。不。你仍在增加组织中的员工数量，但该组织的产出量将大幅增加。

黄仁勋：

这，这经常被误解。AI不是我。AI不会改变每一项工作。AI将对人们的工作方式产生巨大影响。让我们承认这一点。AI有潜力带来令人难以置信的好处。它也有潜力造成伤害。我们必须建立安全的AI。是的，让我们打好这个基础。是的。好的。

黄仁勋：

人们忽视的部分是，当公司使用AI提高生产力时，它很可能会表现为更好的收益或更好的增长，或两者兼而有之。当这种情况发生时，首席执行官的下一封电子邮件很可能不是裁员。

Brad Gerstner：

当然是公告，因为你在成长。

黄仁勋：

原因是我们有更多的想法，我们可以探索，我们需要人们帮助我们在自动化之前仔细考虑。所以自动化部分，AI可以帮助我们做到。显然，它也会帮助我们思考，但仍然需要我们去弄清楚我想解决什么问题。我们可以解决的问题有上万亿。那么，公司需要解决什么问题，选择这些想法，并找出自动化和扩展的方法。因此，随着我们变得更有生产力，我们将雇佣更多的人。人们忘记了这一点，如果你回到过去，显然我们今天的想法比 200 年前更多。这就是为什么 GDP 更大、就业人数更多的原因。尽管我们在底层疯狂地自动化。

Brad Gerstner：

这是这个时期的一个非常重要的点，我们正在进入一个几乎所有人类生产力、几乎所有人类繁荣都是自动化的副产品。过去 200 年的技术。我的意思是，你可以看看亚当·斯密和谢姆彼得的创造性破坏，你可以看看过去 200 年来人均 GDP 增长图表，现在它正在加速。

是的，这让我想到了这个问题。如果你看看 90 年代，我们美国的生产力增长率大约是每年 2.5% 到 3%，好吗？然后在 2010 年，它放缓到大约 1.8%。然后过去 10 年是生产力增长最慢的十年。所以这就是我们固定数量的劳动力和资本或产出量，实际上是有记录以来最慢的。

很多人都在争论这个原因。但如果世界真的像您所描述的那样，我们要利用和制造智能，那么我们是不是正处于人类生产力急剧扩张的边缘呢？

黄仁勋：

这是我们的希望。这是我们的希望。当然，我们生活在这个世界上，所以我们有直接的证据。

我们有直接的证据，要么是孤立的案例，要么是个别研究人员，他们能够利用AI以难以想象的超大规模探索科学。这就是生产力。百分百衡量生产力，或者我们正在以如此高的速度设计出如此令人难以置信的芯片。我们正在构建的芯片复杂性和计算机复杂性正在呈指数级增长，而公司的员工基础并不是衡量生产力的标准，对吧。

我们开发的软件越来越好，因为我们使用AI和超级计算机来帮助我们。员工人数几乎呈线性增长。生产力的另一个体现。

所以，我可以深入研究，我可以抽样检查很多不同的行业。我可以亲自检查。是的，你说得对。商业。没错。

所以我可以，当然，你不能，我们不能，我们可能会过度拟合。但它的艺术性当然是概括我们所观察到的是什么，以及这是否会在其他行业中体现出来。

毫无疑问，AI是世界上已知的最有价值的商品。现在我们要大规模生产它。我们，我们，我们所有人都必须擅长，如果你被这些AI包围，它们做得非常好，比你好得多，会发生什么。当我回想起来，这就是我的生活。我有 60 个直接下属。

他们在自己的领域是世界一流的，而且他们做得比我好。比我好很多。我与他们互动毫无困难，我也能毫不费力地设计他们。我也能毫不费力地编程他们。所以我认为人们要学习的是，他们都将成为 CEO。

他们都将成为 AI 代理的 CEO。他们有能力拥有创造力，嗯，一些知识，以及如何推理，如何分解问题，这样你就可以对这些 AI 进行编程，以帮助你实现像我一样的目标。这就是经营公司。

AI安全需要多方共同努力

Brad Gerstner：

现在。你提到了一些东西，那就是不协调，安全的AI。你提到了中东正在发生的悲剧。我们拥有很多自主权，而且很多AI正在世界各地使用。那么让我们来谈谈坏人、安全AI、与华盛顿的协调。你今天感觉如何？我们走在正确的道路上吗？我们有足够的协调水平吗？我认为马克·扎克伯格曾说过，我们打败坏AI的方法是让好AI变得更好。你如何描述你对我们如何确保这对人类产生积极的净收益的看法，而不是让我们生活在这个反乌托邦的世界里。

黄仁勋：

关于安全的讨论确实很重要，也很好。是的，抽象的观点，将AI视为一个巨大的神经元网络的概念性观点，并不是那么好，对吧。好的。原因是，众所周知，AI和大型语言模型是相关的，而不是一回事。我认为有很多正在做的事情非常好。第一，开源模型，以便整个研究社区、每个行业和每个公司都可以参与AI，是的，并学习如何利用这种能力进行应用。非常好。

第二，人们低估了致力于发明AI以保证AI安全的技术数量。是的，AI可以整理数据、携带信息、进行训练，创建AI是为了协调AI，生成合成数据以扩展AI的知识，使其减少幻觉。所有被创建用于矢量化或图形化或任何其他用于通知 AI、保护 AI 以监控其他 AI 的 AI 系统，这些 AI 系统创建的安全 AI 正在受到赞扬，对吗？

Brad Gerstner：

那么我们已经建立了。

黄仁勋：

那。我们正在建立这一切。是的，在整个行业中，方法论、红队、流程、模型卡、评估系统、基准测试系统，所有这些，所有这些正在以令人难以置信的速度构建的线束。我想知道，庆祝。你们明白吗？是的，你知道。

Brad Gerstner：

而且，没有，没有，没有政府法规说你必须这样做。是的，今天在这个领域中构建这些AI的参与者正在认真对待这些关键问题，并围绕最佳实践进行协调。没错。

黄仁勋：

所以这还没有得到充分重视，也没有得到充分理解。是的。需要有人，需要，每个人都需要开始谈论AI，这是一个AI系统，是一个工程系统，是经过精心设计的，从第一原则构建的，经过充分测试的，等等。记住，AI是一种可以应用的能力。我不认为有必要对重要技术进行监管，但也不要过度监管，以至于有些监管要针对大多数应用进行。所有已经监管技术应用的不同生态系统现在都必须监管现在融入AI的技术应用。

所以，我认为，不要误解，不要忽视世界上为AI而必须启动的大量法规。不要只依赖一个宇宙银河系。AI委员会可能能够做到这一点，因为所有这些不同的机构的成立都是有原因的。所有这些不同的监管机构的成立都是有原因的。回到最初的原则，我会。

开源与不开源的对立是错误的

Brad Gerstner：

你们推出了一个非常重要、非常庞大、非常强大的开源模型。

黄仁勋：

Nemotron。

Brad Gerstner：

是的，很明显，Meta为开源做出了重大贡献。我发现当我阅读 Twitter 时，有很多关于开放与封闭的讨论。您如何看待开源，您自己的开源模型，能否跟上前沿？这是第一个问题。第二个问题是，您知道，拥有开源模型和闭源模型，它们为商业运营提供动力，这是您对未来的看法吗？这两件事是否为安全创造了健康的张力？

黄仁勋：

开源与闭源与安全有关，但不仅仅是安全。例如，拥有闭源模型绝对没有错，它们是维持创新所必需的经济模型的引擎。好吧，我完全赞成这一点。我认为封闭与开放的对立是错误的。

因为开放是许多行业得以激活的必要条件，现在，如果我们没有开源，所有这些不同的科学领域如何能够激活，激活AI。因为他们必须开发自己的特定领域的AI，他们必须使用开源模型开发自己的AI，创建特定领域的AI。它们是相关的，不是，再说一遍，不一样。仅仅因为你有一个开源模型并不意味着你就有AI。所以你必须有那个开源模型来创建AI。所以金融服务、医疗保健、交通运输，这些行业、科学领域的列表现在已经因为开源而得以实现。

Brad Gerstner：

难以置信。你看到对你的开源模型的需求很大吗？

黄仁勋：

我们的开源模型？首先。Llama 下载。显然，是的，马克和他们所做的工作令人难以置信。超乎想象。是的。它完全激活并吸引了每一个行业、每一个科学领域。

好的，当然。我们做 Nemotron的原因是为了生成合成数据。直观地说，一个AI会以某种方式坐在那里循环并生成数据来学习自己。这听起来很脆弱。你能绕这个无限循环多少次，这个循环值得怀疑。然而，我脑海中的画面有点像你找了一个超级聪明的人，把他关进一个软垫房间，关上门大约一个月，出来的可能不是一个更聪明的人。所以，所以，但你可以让两三个人坐在一起，我们有不同的AI，我们有不同的知识分布，我们可以来回进行质量保证。我们三个人都可以变得更聪明。

因此，你可以让 AI 模型交换、互动、来回传递、讨论强化学习、合成数据生成等，这种想法在直觉上是有意义的，可以提出建议并有意义。因此，我们的模型Nemotron 350B 是是世界上最好的奖励系统模型。因此，这是最好的批评。

有趣。这是一个非常棒的模型，可以增强其他人的模型。因此，无论其他人的模型有多好，我都会建议使用Nemotron 340B 来增强和改进它。我们已经看到 Llama 变得更好，使所有其他模型都变得更好。

Brad Gerstner：

作为在 2016 年交付 DGX1 的人，这真的是一段不可思议的旅程。您的旅程既不可思议又令人难以置信。就像只是在早期幸存下来一样非常了不起。您在 2016 年交付了第一台 DGX1。我们在 2022 年迎来了寒武纪时刻。

所以我要问您一个我经常想得到答案的问题，那就是，在 60 个直接下属的领导下，您能维持现在的工作多久？您无处不在。您正在推动这场革命。您玩得开心吗？还有什么其他您更愿意做的事情吗？

黄仁勋：

这是关于过去一个半小时的问题。答案是“我很享受”。很棒的时光。我无法想象我更愿意做的其他事情。让我们看看。我认为，我认为不应该给人留下我们的工作总是充满乐趣的印象。我的工作并不总是充满乐趣，我也不指望它总是充满乐趣。我曾经期望它总是充满乐趣吗？我认为它总是很重要。

是的，我不会太严肃地对待自己。我非常认真地对待工作。我非常认真地对待我们的责任。我非常认真地对待我们的贡献和我们的时刻。

这总是充满乐趣吗？不。但我一直都喜欢它吗？是的。就像所有的事情一样，无论是家庭、朋友还是孩子。它总是充满乐趣吗？不。我们总是喜欢它吗？绝对。

所以我认为，我，我能做多久？真正的问题是，我能保持相关性多久？这才是最重要的，这个问题的答案只能是我将如何继续学习？今天我更加乐观。我这么说不仅仅是因为我们今天的主题。我对我说相关性和继续学习的能力更加乐观，因为AI。我每天都在用它，我不知道，但我相信你们都在用。我几乎每天都在用它。

我没有一个研究不涉及AI。是的，没有一个问题，即使我知道答案，我也会用AI再三核对。是的，令人惊讶的是，我接下来问的两三个问题，揭示了一些我不知道的东西。你选择你的主题。你选择你的主题。我认为AI是一个导师。

AI 是助手，AI 是合作伙伴，可以与我一起集思广益，检查我的工作，伙计们，这完全是革命性的。我是一名信息工作者。我输出的是信息。所以我认为他们对社会的贡献非常了不起。所以我认为，如果是这样的话，如果我能保持这种相关性，继续做出贡献，我知道这项工作足够重要，是的，我想继续追求它，我的生活质量令人难以置信。所以我会。

Brad Gerstner：

说我无法想象你和我在这个领域已经工作了几十年，我无法想象错过这一刻。这是我们职业生涯中最重要的时刻。我们非常感谢这种合作关系。

黄仁勋：

怀念未来十年。

Brad Gerstner：

思想伙伴关系。是的，你让事情变得更聪明。谢谢你。我认为你作为领导层的一部分真的很重要，对吧，这将乐观而安全地引领这一切向前发展。所以谢谢你。

黄仁勋：

和你们在一起。真的很开心。真的。谢谢。