5年实现AGI,未来10年算力提高100万倍,对手芯片免费也比不过英伟达!黄仁勋斯坦福分享第二弹

taiyang @ 2024年03月12日 财经风云

5年实现AGI,未来10年算力提高100万倍,对手芯片免费也比不过英伟达!黄仁勋斯坦福分享第二弹

卜淑情



本次访问信息量巨大,黄仁勋就加速计算的本质、模型训练的未来、推理芯片的竞争等话题发表了自己的看法,另外,他还对通用AGI何时实现,AI增长需要多少额外芯片产能进行了预测。
作者:卜淑情

来源:硬AI

当地时间3月4日,英伟达CEO黄仁勋赴斯坦福商学院,以斯坦福校友的身份分享了他的艰难创业历程,以及他对人工智能革命的看法,在业界引发了不小的轰动。

不到一周,黄仁勋再度亮相斯坦福,在斯坦福经济政策研究所(SIEPR)经济峰会上接受了访问。本次访问信息量巨大,黄仁勋就加速计算的本质、模型训练的未来、推理芯片的竞争等话题发表了自己的看法,另外,他还对通用人工智能(AGI)何时实现,AI增长需要多少额外芯片产能进行了预测。

黄仁勋认为,AI会在五年内通过人类测试,AGI将很快到来。不过,答案很大程度上取决于我们如何定义这个目标。他表示,如果我们对"像人类一样思考的计算机"的定义,是通过人类测试能力,那么AGI很快就会到来。

他还表示,未来10年,英伟达计划使深度学习的计算能力再提高100万倍。到那时,英伟达将实现持续学习,不再是现在这样先学习后应用的模式。

黄仁勋核心观点:

如果你对AGI的定义是通过人类的测试,那么我会告诉你,5年就可以实现。但如果你稍微改变一下问题的提问方式,即AGI是要具备人类的智能,那么我还不太确定如何明确定义你们所有的智能。事实上,没有人真正确定。
未来10年,我们计划使深度学习的计算能力再提高100万倍。到那时,我们将实现持续学习,不再是现在这样先学习后应用的模式。
在过去的10年里,我们将计算成本降低了100万倍。很多人说,但如果你能将计算成本降低100万倍,人们花的钱自然会更少,但事实恰恰相反……需求显著增长......因此,我们会做更多的计算,我们会将计算的边际成本降低到接近零。
一块(H100)就可以取代一个由传统CPU组成的数据中心。虽然它售价高达2.5万美元一块,但与之对应的旧系统,光是电缆的成本就超过了芯片价格。我们重新定义了计算方式,将整个数据中心都浓缩在这一款芯片之中。
推理芯片非常难。你以为,推理的响应时间必须非常快,但这还算简单的,因为这是计算机科学中算是容易的部分。难得部分是,部署推理的人的目标,是吸引更多的用户,将该软件应用于庞大的安装用户基础。
推理是一个关于安装基础的问题。这与为iPhone编写应用程序的人是一样的,他们这么做是因为iPhone有如此庞大的装机量,几乎人手一部。因此,如果为iPhone编写应用程序,就会获得巨大收益,能惠及所有用户。
购买和销售芯片的人仅仅考虑的是芯片的价格,而运营数据中心的人考虑的是整个运营成本、部署时间、性能、利用率以及在所有这些不同应用中的灵活性。总的来说,我们的总运营成本(TCO)非常低,即使竞争对手的芯片是免费的,最终算下来它也不够便宜!
我们正在训练的这些模型是多模态的,这意味着我们将从声音中学习,从文字中学习,从视觉中学习,就像我们所有人一样,看电视并从中学习。这很重要,因为我们希望AI不仅植根于人类价值观,当然这是ChatGPT真正创新的地方,也就是RLHF(基于人类反馈的强化学习)。
我们每10年都将算力提高一百万倍,而需求却增长一万亿倍,这两者必须相互抵消。然后还有技术扩散等等,这只是时间问题,但这并不改变这样一个事实:总有一天,世界上所有的计算机都将100%地改变,每一个数据中心,价值数万亿美元的基础设施,将完全改变,然后在这之上还会建造新的基础设施。
AI很可能是21世纪最重要的事物。至于晶体管,它是20世纪最伟大的发明。不过,两者都接近最伟大发明了,我们可以让历史来评判。
未来的AI计算机会合成数据生成、在进行强化学习,并将持续以真实世界的经验数据为基础。它会想象一些情况,用真实世界的经验进行测试和修正。整个过程就是一个巨大的循环。
我想我最大的优势之一就是我的期望值很低......期望值很高的人,耐力就很低。不幸的是,在成功的道路上,耐力是很重要的。我不知道如何教给你们,除非我希望你们遭受一些磨难。
编码是一个推理过程,是件好事。但它能保证你找到工作吗?一点儿也不能。世界上的程序员肯定会继续大量存在,英伟达也需要程序员。但是,将来你与计算机交互的方式不会是C++。
黄仁勋斯坦福第二轮访谈全文翻译

开场白
黄仁勋:

我总觉得有个好的开场白很重要,我的开场白就是问:"你想看我的家庭作业吗?"

你知道的,我们夫妻有两个美丽的孩子,我过着完美的生活,两只可爱的小狗,而且我热爱我的工作。她至今仍然喜欢看我的"家庭作业"。

主持人:

好吧,如果你愿意,我可以问你几个问题。

黄仁勋:

好的,请问吧。

加速计算的本质
主持人:

在我有生之年,我认为最大的技术发展、技术突破是晶体管的发明。我比你年长,这确实是一项重大发明,但我应该重新思考一下吗?AI现在是过去76年来科技发展中最大的变革吗?这暗示了我的年龄。

首先,晶体管显然是一项伟大的发明,但它所实现的最大能力是软件,是人类以可重复的方式在计算上表达我们的想法和算法的能力。这是一项真正的突破。

在过去31年里,我们公司一直致力于一种称为加速计算的新型计算方式。核心原因是,通用计算并不适合每一个工作领域,所以我们说,为什么不开发一种新的计算方式,解决通用计算不擅长的问题。

在某些具有算法性质、可并行的计算领域,我们实际上已经将计算的成本降低到了零。当你能够将某物的边际成本降低到接近零时会发生什么?我们创造了一种新的软件开发方式,软件不再由人编写,而是让计算机编写软件,因为计算成本接近零。

我们可以让计算机处理大量的经验数据,即人类的数字化经验,从中发现模式和关系,这就代表了人类知识。这个奇迹大约在15年前出现。我们预见到了这一点,并调整了整个公司的方向,进军这一全新的领域。

在过去的10年里,我们将计算成本降低了100万倍。很多人说,但如果你能将计算成本降低100万倍,人们花的钱自然会更少,但事实恰恰相反,我们发现,如果我们能将计算的边际成本降低到接近零,我们可能会用它来做一些非常疯狂的事情,需求反而显著增长。

例如大型语言模型能够从互联网上提取所有人类数字知识,并将其放入计算机中,让计算机自行理解知识。这种从互联网上抓取所有数据并放入一台计算机中,让计算机去找出答案的想法,本身就是一个疯狂的概念。

想象一下,对于那些刚接触AI的人来说,我们现在可以使用计算机来理解几乎所有数字化知识的含义。以基因序列为例,我们现在可以用大型语言模型去学习那些基因的含义。我们也可以通过质谱技术等将氨基酸数字化。现在我们可以从氨基酸序列中理解出蛋白质的结构和功能,而无需大量工作去使用低温冷冻电镜技术(cryo-EMs)等技术。我们还可以在相当大的规模上做到这一点。很快我们就可以理解一个细胞的含义,一大串相互关联的基因。计算机还可以理解一整页的文字。你可以问它文字的含义是什么,请总结一下,文字想表达什么。

这就是加速计算这一奇迹所带来的改变。所以,我想说的是,AI,被这种我们称之为加速计算的新型计算形式所支持,它花了三十年的时间才成型,可能是技术产业中最伟大的发明。AI很可能是21世纪最重要的事物。至于晶体管,它是20世纪最伟大的发明。不过,两者都接近最伟大发明了,我们可以让历史来评判。

计划未来10年将把深度学习的算力提高100万倍
主持人:

你能展望一下未来五年吗?我知道目前推动AI发展的是你们的H100 GPU,而你们也在推出新的H200,据我所知,你们计划每年都会升级芯片。那么到了2029年3月,你们推出 H700 时,它将让我们能够做到现在所无法做到的哪些事情呢?

黄仁勋:

首先,你刚刚提到的芯片重达70磅,由35000多个部件组成,其中有8个部件来自台积电。这一款芯片就可以取代一个由传统CPU组成的数据中心。众所周知我们芯片的计算速度很快,这一款芯片所节省的资源是难以想象的,但与此同时,这也是世界上最昂贵的芯片,售价高达2.5万美元一块。但与之对应的旧系统,光是电缆的成本超过了芯片价格。我们重新定义了计算方式,将整个数据中心都浓缩在这一款芯片之中。

这款芯片非常擅长于一种被称为深度学习的计算形式,而深度学习又是AI的核心。这种芯片不仅在芯片组里工作,还在算法级和数据中心级工作,它们是一个整体,不能单独运行。需要把它们连接在一起,网络就成为其中的一部分。所以当你看到我们的一台计算机时,它确实是一件了不起的东西,虽然只有计算机工程师才会觉得它了不起。它非常重,需要数百英里长的电缆。接下来推出的版本将采用液体冷却技术,从多方面来说,它都很出色。

它计算的规模相当于一个数据中心。未来10年,我们计划使深度学习的计算能力再提高100万倍。到那时,我们将实现持续学习,不再是现在这样先学习后应用的模式。我们将决定持续学习的结果是否部署到实际应用中。计算机会观看视频和新文本,并通过所有这些互动不断自我完善,学习过程、训练过程、推理过程、部署过程将合而为一。这正是我们所做的。

未来,计算机不会在某个时间段专注于学习,另一时间段只做推理,而是是在持续不断地学习和推理。这种强化学习将是连续的,并基于真实世界的数据互动以及实时生成的合成数据。

计算机的能力将持续想象。就像当你学习时,你会从第一原理出发,认为情况应该是这样的。然后我们在大脑中进行模拟和想象,未来的想象状态在很多方面对我们来说就是现实。因此,未来的AI计算机会合成数据生成、在进行强化学习,并将持续以真实世界的经验数据为基础。它会想象一些情况,用真实世界的经验进行测试和修正。整个过程就是一个巨大的循环。当你的计算能力比现在便宜100万倍时,就会如此。

所以当我这样说的时候,请注意其核心是什么。当你能将计算的边际成本降至零时,就会有许多新的可行方式值得去尝试。这与去更远的地方是一样的,因为交通的边际成本已降至零。我可以相对便宜地从这里飞往纽约。如果需要一个月的时间,我可能就永远不会去了。运输方面也是如此,任何事情都是这样。因此,我们会做更多的计算,我们会将计算的边际成本降低到接近零。

如何评价芯片竞争?
主持人:

这让我想起,你可能知道最近有些报道说,英伟达在推理市场将面临比在训练市场更多的竞争。但据你所说,这两个实际上是同一个市场?你能评论一下吗?会不会存在独立的训练芯片市场和推理芯片市场?还是说你将在同一芯片内持续训练和切换到推理?可以解释一下吗?

黄仁勋:

无论何时提示AI系统,无论是ChatGPT、Copilot,还是你正在使用的某个服务平台,如果你使用Midjourney、Adobe的Firefly等,一旦做出提示,它就会进行推理,生成相应的信息。每当你这样做时,在背后运作的都是英伟达GPU。所以大多数时候,当你与我们的平台互动时,都是在进行推理。因此,现在全世界100%的推理都由英伟达提供。

那么推理是难还是易?很多公司之所以在推理领域挑战英伟达,是因为当他们看到英伟达的系统进行训练时, 你会觉得那看起来太难了,我不会去做,我只是一个芯片公司,但这个系统它看起来根本就不像芯片。只是为了证明新东西是否有效,你就要先投入20亿美元,然后你启动了它,发现可能并不能工作。你投入了20亿美元和两年时间,就为了证明它并不能运行。但这时候,你已经投入了大笔资金和时间。探索新事物的风险对客户来说太高了。因此,很多竞争对手倾向于说,我们不做训练,只做推理。

那我现在告诉你,推理芯片非常难。你以为,推理的响应时间必须非常快,但这还算简单的,因为这是计算机科学中算是容易的部分。难得部分是,部署推理的人的目标,是吸引更多的用户,将该软件应用于庞大的安装用户基础。

因此,推理是一个关于安装基础的问题。这与为iPhone编写应用程序的人是一样的,他们这么做是因为iPhone有如此庞大的装机量,几乎人手一部。因此,如果为iPhone编写应用程序,就会获得巨大收益,能惠及所有用户。

英伟达同样适用这个道理,我们的加速计算平台CUDA是唯一遍布全球的。由于我们从事这一领域已久,如果你为推理编写应用程序,并在我们的架构上部署模型,它就可以在任何地方运行。

所以你可以触及每一位用户,产生更大的影响力。因此,推理问题的核心实际上是装机量,这需要长期耐心、多年成功经验和对架构兼容性的专注等。

主持人:

英伟达制造的芯片无与伦比。但有可能会出现一些声称足够好用、虽然没有英伟达那么好,但更便宜的竞争对手吗?这是一种威胁吗?

黄仁勋:

首先,确实存在竞争。我们面临的竞争比任何其他公司都多。我们不仅有来自竞争对手的竞争,还有来自客户的竞争。而且我是他们眼中唯一的竞争对手,我不仅向他们展示当前芯片,还会展示下一代和未来几代芯片。这是因为,如果你不努力解释自己为什么擅长某件事,他们就永远不会有机会购买你的产品。因此,我们的策略是完全公开透明,与业内几乎所有人合作。

我们这样做有几个理由,我们的优势主要有以下几点:

客户可以构建专门针对某个特定算法优化的芯片(ASIC),但请记住,计算不仅仅是关于transformer,更何况我们正在不断地发明新的transformer变种,除此之外,软件的种类非常丰富,因为软件工程师就喜欢创造新玩意儿。

英伟达擅长的是加速计算,但我们的架构不仅能加速算法,而且是可编程的,这意味着你可以用它来处理SQL,我们可以加速量子物理、加速所有的流体和粒子代码等等广泛领域,其中之一才是生成式AI。

因此,英伟达擅长的是加速计算这一广阔领域,其中之一就是生成式AI。对于一家希望拥有各行业客户的数据中心来说,我们已经成为了事实上的标准,存在于每一个云平台和计算机公司。

因此,经过30多年的发展,我们公司的架构已经成为了业内标准,这就是我们的主要优势。

如果客户能够有更具成本效益的替代方案,我甚至会为此感到惊讶。原因是,当你看到现在的计算机时,它不像笔记本电脑,它是一个数据中心,你需要运营它。因此,购买和销售芯片的人仅仅考虑的是芯片的价格,而运营数据中心的人考虑的是整个运营成本、部署时间、性能、利用率以及在所有这些不同应用中的灵活性。

总的来说,我们的总运营成本(TCO)非常低,即使竞争对手的芯片是免费的,最终算下来它也不够便宜!我们的目标是增加如此多的价值,以至于替代品不仅仅是关于成本的问题。

当然,这需要大量的努力,我们必须不断创新,我们不能对任何事掉以轻心。我本来希望不要听起来太有竞争性,但主持人问了一个竞争问题,我以为这是个学术论坛....这触发了我的竞争基因,我道歉,我本可以更艺术地处理这个问题。

下次我会更好地掌控分寸,但是他用提到竞争对手的问题让我很惊讶。我原以为这是一个经济论坛,结果你们这么直白。

通往AGI还有五年?
主持人:

那我就再直白点,你认为我们什么时候能实现人工通用智能(AGI),也就是达到人类智能水平?是50年后吗?还是5年后?你怎么看?

黄仁勋:

我会给你一个非常具体的答复。但首先让我告诉你一些正在发生的令人兴奋的事情。首先,我们正在训练的这些模型是多模态的,这意味着我们将从声音中学习,从文字中学习,从视觉中学习,就像我们所有人一样,看电视并从中学习。这很重要,因为我们希望AI不仅植根于人类价值观,当然这是ChatGPT真正创新的地方,也就是RLHF(基于人类反馈的强化学习)。

但直到强化学习,人类将AI都锚定在我们认为好的人类价值观上。现在,你能想象,你必须生成图像和视频,AI知道手不会穿透讲台,踩在水上时你会掉进去,所以现在AI开始锚定在物理上。

现在,AI观看大量不同的例子,比如视频,来学习这个世界被遵守的规律。它必须创建一个所谓的世界模型。所以,我们必须理解多模态性,还有其他模态,比如基因、氨基酸、蛋白质、细胞等等。

第二点,就是AI会具有更强大的推理能力,我们人类所做的很多推理,都编码在常识中。常识是我们所有人类认为理所当然的能力。互联网上有很多我们已经编码好的推理和知识,模型可以学习。

但还有更高层次的推理能力,例如现在你问我问题,大部分的问题,我的确像生成式模型一样快速生成,不需要花太多时间推理,但有些问题,我需要想想,也就是规划,我会说"很有趣,让我想想",然后我可能是在脑海中循环它,构建出多个计划方案,遍历我的知识系统,并进行选择性的处理,"这个没有意义,但这个我可以去做"也就是我会在脑海中模拟仿真运行它,也许我会做一些计算等等。

我的意思是,今天这种长时间思考的能力,AI目前还做不到。无论你向ChatGPT给出什么提示,它都会立即回应。我们希望输入到ChatGPT的某个问题,给它一个目标,给它一个使命,它能思考一段时间。所以,这种系统在计算机科学中称之为系统2,或者长思考,或规划系统,用于解决规划和复杂推理等问题。

我认为我们正在研究这些问题,你会看到一些突破性进展。因此,将来与AI的互动方式将大不相同。有时只需提出问题获得答复,有时你会说"这是一个问题,你先思考一段时间",然后它经过大量计算后给出答案。你还可以说"我给你这个问题,花费1000美元的预算,但不要超过这个数"。它会在预算内给出最佳答复。还有其他场景应用等等。

所以,回到AGI的问题,AGI的定义是什么?事实上,这现在是最先需要回答的问题。如果你问我,如果你说仁勋,AGI是一系列测试,而且请记住,只有工程师才知道我们已经做到了,你知道,那个有声望的组织里的任何人都肯定知道,对于工程师来说,需要有一个规范,需要知道成功的定义是什么,需要有一个测试。现在,如果我给AI出一堆数学测试、推理测试、历史测试、生物学测试、医学考试、律师考试,以及你能想到的其他任何测试,SAT和GMAT等,把所有你能想到的考试列出来,放在计算机科学行业面前,我猜在5年内,计算机将在所有这些测试中表现良好。

因此,如果你对AGI的定义是通过人类的测试,那么我会告诉你,5年就可以实现。但如果你稍微改变一下问题的提问方式,即AGI是要具备人类的智能,那么我还不太确定如何明确定义你们所有的智能。事实上,没有人真正确定。因此,作为一名工程师很难实现。这说得通吗?所以答案是我们不确定。但我们都在努力使其变得更好。

AI在药物发现方面的作用
主持人:

我还想问两个问题,然后我会把时间交给大家,因为我觉得外面还有很多好问题。我想问的第一个问题是,你能不能深入探讨一下你对AI在药物发现方面的作用的看法?

第一个作用是理解我们拥有的数字信息的含义。就像你们所知,我们现在拥有大量的氨基酸序列。由于有了 AlphaFold,我们现在可以理解其中许多蛋白质的结构。但问题是,那个蛋白质的意义是什么?它意味着什么?这种蛋白质的功能是什么?那就太棒了。

就像你可以与 ChatGPT 交谈一样,你们都知道,有人可以与 PDF 聊天。你可以拿一个 PDF 文件,无论是什么内容,我最喜欢的是拿一篇研究论文的 PDF 文件,把它加载到 ChatGPT 中,然后就开始与它交谈。

就像与研究人员交谈一样,比如说这个研究的灵感来源是什么,它解决了什么问题?突破点是什么?之前的状态是什么?有什么新颖的想法?就像与人交谈一样。

未来,当我们把一个蛋白质放入 ChatGPT 中,就像 PDF 一样,它会问这是做什么用的?哪些酶会激活?例如,有一串基因序列,代表一个细胞,你可以把这个细胞放进去,它会问你这是做什么用的?你的作用是什么?你有什么用途?你的希望和梦想是什么?

所以这就是我们能做的最深刻的事情之一,理解生物学的意义。如果我们能理解生物学的意义,正如你们所知,一旦我们理解了世界上几乎任何信息的意义,在计算机科学和计算领域,出色的工程师和科学家就会精确地知道该如何利用它。

但这就是突破点,多模态理解生物学。因此,如果我能给你一个深入浅出的答复,我想这可能是我们能做的最深刻的单一事情。

给学生们的建议:降低期望值
主持人:

俄勒冈州立大学和斯坦福大学一定为你感到骄傲。如果我可以稍微转换一下话题,斯坦福有很多怀抱创业梦想的学生,他们是企业家,也许是计算机或工程专业的学生。你能给他们什么建议,以提高他们成功的机会?

黄仁勋:

你知道,我想我最大的优势之一就是我的期望值很低,我是认真的。大多数斯坦福毕业生的期望值都很高。你们应该有很高的期望值,因为你们来自一所伟大的学校。你们在学校里很出色,是最优秀的那一类学生。显然,你们有能力支付学费,并且你们从这个地球上最好的学府之一毕业。你们周围都是其他令人难以置信的孩子。你们自然就会有很高的期望值。

期望值很高的人,耐力就很低。不幸的是,在成功的道路上,耐力是很重要的。我不知道如何教给你们,除非我希望你们遭受一些磨难。我很幸运,从小就在一种能够成功但又有很多挫折和磨难的环境中长大。直到今天,我在公司内部使用"痛苦和磨难"这个词组时仍然感到无比欣喜。

原因是,你希望培养公司的品格,你希望它变得伟大。伟大不是智力,就像你知道的那样。伟大来自于品格,而品格不是由聪明人塑造的,而是由经历过磨难的人塑造的。

所以这就是我想说的,如果我能给你们建议的话,虽然我不知道怎么做,但对于所有斯坦福的学生来说,我希望你们经历充足的痛苦和磨难。

如何激励员工?
主持人:

我打算违背承诺,再问你最后一个问题。你看起来充满动力和活力,但你如何让员工保持动力和活力,特别是当他们可能比预期更加富有呢?

黄仁勋:

是啊,我周围有55个人,是我的管理团队。所以你知道,直接向我汇报的管理团队有55人。我没有为他们任何人单独写过评语。但我会持续给他们评语,他们也会对我评语。我给他们的薪酬只是Excel表格的右下角数字,我会直接拖动复制。我们许多高管的薪酬完全相同。我知道这很奇怪,但它管用。除非他们需要我,否则我从不与他们单独会面。

我从不与他们单独开会,他们也永远不会从我这里听到只有他们一个人知道的情况。我不会向任何员工透露公司其他人不知道的信息。因此,我们公司的设计就是为了敏捷,让信息尽可能快地流通,让人们能够凭借他们的能力获得权力,而不是凭借他们知道什么。这就是我们公司的架构。我不记得你的问题了,但我明白了。

答案就在我的行为中。我如何庆祝成功?我如何庆祝失败?我如何谈论成功?我如何谈论挫折?我每天都在寻找机会来灌输公司文化和什么重要、什么不重要、什么是好的定义、如何将自己与好进行比较、如何思考好、如何思考旅程、如何思考结果等等,整天如此。

AI增长需要多少额外芯片产能?
观众1:

我有两个问题,第一个是关于你那件皮衣的故事。第二个是,根据你的预测和计算,在未来5到10年内,芯片产能需要增加多少才能支持AI的增长?

黄仁勋:

好的,我很感谢这两个问题。第一个问题是,这件皮衣是我妻子买给我的,这就是我现在穿的。因为我自己完全不购物。只要她找到一件不让我觉得痒的衣服,我就会一直穿,因为她从17岁就认识我了,她觉得所有衣服对我来说都会痒痒。当我说我不喜欢某件衣服时,我会说它让我痒。所以只要她找到一件不让我痒的衣服,你看看我的衣柜,全都是同一件衬衫,因为她不想再为我购物了。所以这就是她给我买的全部,这就是我穿的全部。如果我不喜欢,我就自己去购物,否则我就穿着它,对我来说已经足够好了。

第二个问题是关于预测。关于预测,实际上我很糟糕,但我非常擅长基于第一原则推演机会的大小。我不知道有多少晶圆厂,但我知道的是,我们今天做的计算,信息是别人写的、或者由某人创造的,基本上是预先记录下来的。

我说的是每件事,每个字、语音、视频,都是检索式的,有人写好了它并存储在某个地方,然后你去检索它,你知道的每一种模态过去都是这样。就像我所说的,每次你在手机上点击,请记住那都是有人编写并存储在某处的,都是预先录制的。

在未来,因为我们的AI可以接入世界上所有的最新新闻等,也就是可以检索,它理解你的上下文,意味着它理解你问什么,关键是,大部分计算将是生成式的。今天的100%内容是预先录制的。

如果在未来,100%的内容将是生成式的,问题是这将如何改变计算的形态。所以我不再纠结于细节,这就是我推演这个问题的方式,比如我们需要更多的网络吗?我们需要更多的内存吗?简单说,我们是需要更多的晶圆厂。

然而,我们也在不断改进算法和处理过程,效率在时间上有了巨大的提升。并不是说计算的效率就是今天这样,因此需求就是这么多。

与此同时,我们每10年都将算力提高一百万倍,而需求却增长一万亿倍,这两者必须相互抵消。然后还有技术扩散等等,这只是时间问题,但这并不改变这样一个事实:总有一天,世界上所有的计算机都将100%地改变,每一个数据中心,价值数万亿美元的基础设施,将完全改变,然后在这之上还会建造新的基础设施。

学习编码并不能保证找到工作
观众2:

是的,欢迎您来到斯坦福。最近你曾说鼓励学生不要学习编码,如果是这样的话,这可能意味着几件事情。但是你认为,从公司形成和企业所有权的角度来看,未来会朝着更多公司的创建发展,还是向少数几个大型参与者的整合发展?

首先,我说得太糟糕了,以至于你重复得也很糟糕。我没有那个意思。如果你想编码,我的天啊,请编码吧。编码是一个推理过程,是件好事。但它能保证你找到工作吗?一点儿也不能。世界上的程序员肯定会继续大量存在,英伟达也需要程序员。但是,将来你与计算机交互的方式不会是C++。

对某些人来说是这样,但对你们来说,为什么要用Python这么奇怪的语言编程呢?将来,你只需告诉计算机你想要什么。然后计算机会按照你的需求行事。你可以说,"嗨,我想让你制定一个建造计划,列出所有供应商和所需材料,并根据我们给你的销售预测来完成"。

基于所有必要的组件,它会给你一份完整的计划。如果你不喜欢,就让它用Python为你编写一个可修改的程序。所以请记住,第一次与计算机交互时,我只是用普通英语交谈。第二次才用编程语言。顺便说一句,未来最好的编程语言就是人类语言。你如何与计算机交谈?如何提示它?如何进行提示工程?如何与人交流?如何与计算机交流?如何让计算机按你的要求行事?如何微调对计算机的指令?这就叫提示工程。这需要一种艺术天赋。

例如,大多数人对此会感到惊讶,但对我来说并不奇怪。比如,你让Midjourney生成一张夏威夷日落时分,冲浪板上有只小狗的图像。然后它生成了一张,你说"再可爱一点",它就更可爱了。你说"不,比那更可爱"。它又来了一张更可爱的。为什么软件会这样做? 这说明软件具有根据你的要求进行微调的能力,体现了未来计算机将如何理解和响应人类的指令。

因此,编程的本质正在发生变化,未来与计算机的交互将更加自然和直观。通过AI,我们正在缩小技术鸿沟。以前,只有少数懂得编程的人才能从事相关工作,而今天,几乎每个人都可以通过简单的交流命令来指导计算机执行任务。YouTube 上就有很多人,包括儿童,他们通过与 ChatGPT 进行交流,让它完成惊人的任务,这些人并不需要掌握传统意义上的编程技能。这表明,在未来,与计算机的交互将和与人交互一样自然,这正是计算机科学行业对全世界的伟大贡献。

关于地缘政治风险的问题,我们几乎可以说是地缘政治风险的典型代表。因为我们生产对AI至关重要的工具,而AI被认为是当代的决定性技术。因此,美国完全有权决定将这些工具限制在其认定的国家之外。

这一方面限制了我们在某些地区的机会,但另一方面也为我们在其他地区创造了机会。在过去的6到9个月中,每个国家和地区都意识到需要掌握自己的AI技术,不能让自己的数据送到国外去处理再流回国内,这种对于主权AI的觉醒为我们创造了巨大的机会。

最后,关于为客户定制解决方案的问题,为什么现在的门槛相对较高?因为我们平台的每一代产品首先有GPU,有CPU,有网络处理器,有软件,还有两种类型的交换机。我为一代产品建造了五个芯片,人们以为只有GPU一个芯片,但实际上是五个不同的芯片,每个芯片的研发成本都是数亿美元,仅仅是为了达到我们所说的"发布"标准,然后你必须将它们集成到一个系统中,然后你还需要网络设备、收发送器、光纤设备,以及大量的软件。运行一个像这个房间这么大的计算机,需要大量的软件,所以这一切都很复杂。

如果定制化的需求差异太大,那么你必须重复整个研发过程。然而,如果定制化能够利用现有的一切,并在此基础上增加一些东西,那么这就非常有意义了。也许是一个专有的安全系统,也许是一个加密计算系统,也许是一个新的数值处理方式,还有更多,我们对这些非常开放。

我们的客户知道我愿意做所有这些事情,并认识到,如果你改变得太多,你基本上就全部重置了,浪费了近千亿美元。所以他们希望在我们的生态系统中尽可能地利用这些(减少重置成本)。