核心观点

• 未来，许多内容将通过AI工具进行创作。部分内容将由创作者利用这些工具制作，而其他内容则可能根据用户的兴趣实时生成，或是从不同来源汇总和综合而成。（Mark Zuckerberg）

• 我有一个愿景：我们可以将Facebook或Instagram设想为一个统一的AI模型，它能够整合所有这些不同的内容类型和系统。这些系统在不同时期设定不同的目标。（Mark Zuckerberg）

• Llama很快将演变成这样：你给它一个“意图”，它就能在多个时间维度上运作。（Mark Zuckerberg）

• 我们愿景的核心是：不会只有一个单一的AI模型，我们的目标是让每个使用我们产品的人都能创建自己的“AI代理”。就像现在每个企业都有电子邮件地址、网站和一个或多个社交媒体账号一样，未来每个企业都会有一个与客户互动的AI代理。（Mark Zuckerberg）

• 在PC时代，开放生态系统获胜了，我希望在下一代计算中，开放生态系统将再次胜出。（Mark Zuckerberg）

• 下一代智能眼镜：混合现实、头戴式显示器和智能眼镜。（Mark Zuckerberg）

• 我们生活在一个令人难以置信的时代，整个计算技术栈正在被重新定义。我们对软件的思考方式，从Andrej Karpathy所说的“软件1.0”和“软件2.0”，到现在进入了“软件3.0”时代。（Jensen Huang）

• 我们选择了另一条道路。我们没有一味追求越来越小的设备，反而开发了一些在当时看来体积有些“不合时宜”的计算机。（Jensen Huang）

SIGGRAPH 

20242024年7月29日

-----

Jensen Huang

女士们，先生们，我即将介绍的这位嘉宾给我留下了深刻印象，主要有三个原因：

首先，能够创办一家真正影响全球数十亿人生活的公司，使之成为社会结构的一部分，并发明革命性服务的企业家和创始人寥寥无几，而他就是其中之一。他创立的不仅是一家普通的公司，更是一家尖端的计算公司。

其次，能够将公司市值推至超过一万亿美元的企业家和创始人更是凤毛麟角。

最后，他还有一个与众不同的身份——大学辍学生。

这三点在他身上完美结合。女士们，先生们，让我们以热烈的掌声欢迎Mark Zuckerberg！

Mark，欢迎你。这是你第一次参加SIGGRAPH大会，感觉如何？作为计算领域的先驱和现代计算的推动者，我认为邀请你参加SIGGRAPH是再合适不过的。Mark，请就座。非常感谢你百忙之中抽空来到这里。

Mark Zuckerberg

确实，这将会很有意思。

Jensen Huang

这里是SIGGRAPH大会，你知道的，与会者中90%都是博士。SIGGRAPH最精彩的地方在于，它汇集了计算机图形学、图像处理、AI和机器人技术等领域。近年来，在这里展示惊人成果的公司包括Disney、Pixar、Adobe、Epic Games，当然还有NVIDIA。今年我们在这里也做了大量工作。

我们在AI与仿真交叉领域发表了20篇论文，主要探讨如何利用AI来实现更大规模、更快速的仿真。比如，在差分物理方面，我们正在使用仿真为AI创建合成数据生成环境。这两个领域正在深度融合。

我为我们在这里所做的工作感到非常自豪。Meta在AI方面也取得了卓越成就。有意思的是，当媒体报道Meta近年来如何跃入AI领域时，似乎忽视了FAIR（Facebook AI研究院）长期以来的贡献。值得注意的是，我们都在使用源自Meta的PyTorch。你们在计算机视觉、语言模型、实时翻译等方面的工作都具有开创性。

我的第一个问题是，你如何看待Meta目前在生成式AI方面的进展？以及你们打算如何应用这些技术来提升业务运营或推出新功能？

Mark Zuckerberg

Meta已经参加SIGGRAPH八年了，相比之下我们还是新手。不过，我们也展示了一些早期的手势追踪技术，用于我们的虚拟现实和混合现实头戴设备。

我们之前多次谈到了Codec Avatars的进展，这是我们希望能通过消费级头戴设备驱动的超现实头像。我们离这个目标越来越近了，这让我感到非常兴奋。同时，我们在显示系统方面也做了大量工作，包括一些未来原型和研究项目，旨在开发非常轻薄的混合现实头戴设备，配备先进的光学堆叠和显示系统。我们通常会在这里首次展示这些集成系统。

我很高兴今年能来到这里，不仅讨论元宇宙相关内容，还有所有AI相关话题。正如你所说，我们在Facebook（现在的Meta）时就已经成立了FAIR AI研究中心，这甚至早于我们启动Reality Labs。我们在这个领域已经耕耘多年。

生成式AI的兴起无疑是一场深刻的变革，它将以颠覆性的方式重塑我们的产品，尤其是Instagram和Facebook等社交平台的信息流和推荐系统。我们最初的产品设计聚焦于纯粹的朋友连接，排序算法一直是核心。即使用户只关注好友动态，当发生重要事件，比如表弟喜得贵子时，他们也希望第一时间看到相关信息。如果这些重要消息被淹没在信息流中，用户体验将会大打折扣。因此，排序算法在我们的产品中扮演着至关重要的角色。

在过去几年里，内容的性质已经转变为更多的公共内容。推荐系统变得至关重要，因为现在不仅仅是来自朋友的几百或几千条潜在帖子，而是有数百万条内容。这演变成了一个非常有意思的推荐问题。

通过生成式AI，我认为我们将很快进入这样一个阶段：你在Instagram上看到的大部分内容不仅来自与你兴趣匹配的现有内容，而且不论你是否关注这些创作者。我认为未来，很多内容也将使用这些AI工具进行创作。有些内容将由创作者使用这些工具制作，有些内容最终可能会根据你的兴趣实时生成，或者从不同来源汇总和综合而成。

这只是我们核心产品如何演变的一个例子，而这种演变已经持续了20年。

Jensen Huang

我认为很少有人意识到，世界上有史以来最大的一种计算系统就是“推荐系统”。

Mark Zuckerberg

这是一条完全不同的道路。这并不是人们所谈论的那种生成式AI的热潮，但我认为所有的Transformer架构都是相似的，都是在构建更通用的模型……

Jensen Huang

将非结构化数据嵌入特征……

Mark Zuckerberg

提升质量的一个重要因素是，我们正在整合之前为不同内容类型设计的各种模型。最近的一个例子是，我们原本有一个专门用于短视频排序和推荐的模型，另一个则用于长视频。要让系统能够在线展示各种内容，需要进行一些产品层面的调整。但是，随着我们开发出更加通用的推荐模型，能够覆盖所有类型的内容，其表现会越来越好。

这部分涉及经济学和内容流动性的问题。内容池的范围越广，就越能避免在从不同内容池中抽取内容时出现的奇怪低效率。随着模型变得更大、更通用，这种情况会不断改善。

我有一个愿景，也许有一天，我们可以将Facebook或Instagram想象成一个统一的AI模型，它能够整合所有这些不同的内容类型和系统。这些系统在不同时期有不同的目标：有些是为了展示你当下感兴趣的内容，有些则是为了帮助你从长远角度扩展人脉网络，比如推荐你可能认识的人或你可能想关注的账号。

Jensen Huang

这些多模态模型在识别模式和微弱信号方面往往表现得更出色。

AI已经深入到你们公司的方方面面。你们很早就建立了GPU基础设施来运行这些大型推荐系统。生成式AI最令人惊叹的地方在于，现在当我使用WhatsApp时，感觉就像是在与WhatsApp协作一般。

想象一下，我坐在这里输入文字，它就能实时生成对应的图像。我回过头修改文字描述，它就会立即生成一幅全新的图像。比如，我描述“一位年长的中国男性在夕阳下品尝威士忌，身边围绕着三只狗：一只金毛寻回犬、一只金色贵宾犬和一只伯恩山犬”，它就能迅速生成一幅相当不错的图像。

Mark Zuckerberg

我们正在逐步实现这一目标，每个月都有新的进展。

Jensen Huang

那么现在你们是不是可以把我的照片导入系统，然后生成的图像就真的会是我本人了？

Mark Zuckerberg

这项功能我们上周刚刚实现。

Jensen Huang

对此我感到非常兴奋。

Mark Zuckerberg

现在让我们设想一下我的情况。过去一周，我花了很多时间和女儿们一起想象她们变成美人鱼的场景，这真的非常有意思。这也展示了生成式AI的另一面。一方面，生成式AI将大幅提升我们现有的工作流程和产品。另一方面，它还会带来许多全新的可能性。

比如Meta AI，它是一个能够帮助你处理各种任务的AI助手。在我们的世界里，它将极具创造力，就像你刚才提到的那样。但它们的功能非常广泛，不局限于特定领域。它将能够回答任何问题。

随着时间推移，当我们从Llama 3类模型过渡到Llama 4及更高版本时，它将不再仅仅是一个简单的聊天框，你输入一个提示，它就回应你，然后你再输入另一个提示，它又回应你，如此反复。我认为它很快就会演变成这样：你给它一个意图，它实际上可以在多个时间维度上运作。它可能会在一开始确认你的意图。但有些任务，我认为，最终可能会启动一些需要几周或几个月的计算过程，然后在世界发生某些相关事件时再回复你。我认为这将是非常强大的功能。

Jensen Huang

现今的AI有点像回合制游戏：你说一句，它回一句。但显然，当我们人类思考问题或面对任务时，会考虑多个选项，或者构建一个选项树、决策树，然后沿着这个决策树前进，在脑海中模拟每个决策可能带来的不同结果。我们在进行规划，而未来的AI也将具备类似的能力。

当你谈到你对“创作者AI”（Creator AI）的愿景时，我感到非常兴奋，我认为这是一个绝妙的想法。坦白说，我觉得你可以向大家详细介绍一下“创作者AI”和“AI工作室”（AI Studio）的概念，这将有助于你实现这个目标。

Mark Zuckerberg

我们愿景的核心是，不会只有一个单一的AI模型。行业内一些其他公司正在构建一个中央代理，而我们虽然会提供Meta AI助手供用户使用，但我们的目标是让每个使用我们产品的人都能创建自己的AI代理。无论是平台上的数百万创作者，还是数亿小企业，我们最终希望能让用户整合他们所有的内容，快速建立一个能与客户互动、处理销售和提供客户支持的商业代理。

我们刚刚推出的一个工具叫做“AI工作室”。它本质上是一套允许每位创作者构建自己AI版本的工具，这个AI可以作为代理或助手，供其社区互动。这里存在一个基本问题：一天的时间是有限的。如果你是创作者，你想与社区有更多互动，但时间不够。同样，你的社区也想与你互动，但由于时间限制，这很有挑战性。下一个最佳选择就是让人们创建这些数字化的代理。这是一个你用自己的材料训练出来的代理，它能以你希望的方式代表你。我认为这是一项非常有创意的尝试，几乎就像你在展示一件艺术品或内容。

显然，它并不等同于与创作者本人互动，但我认为这将成为创作者与社区互动的另一种有意思方式，就像他们在这些社交平台上发布内容一样。我相信未来会出现一种趋势，人们会为各种用途创建自己的代理。有些会是为特定任务定制的实用代理，可以进行微调和训练。其他则可能用于娱乐，某些创作可能以不同方式展现幽默或搞笑，表现出我们可能不会融入Meta AI助手的态度。不过，我认为人们会对看到和与这些创作互动非常感兴趣。

我们观察到一个有意思的场景，让我有些意外：人们使用这些代理进行心理支持。Meta AI的一个主要用途已经涉及用户在角色扮演中模拟他们可能遇到的棘手社交场合。无论是职场情景，比如向经理询问晋升或加薪，还是处理与朋友或伴侣的矛盾，用户希望有一个不被评判的空间来进行这些对话并获得反馈。然而，许多人不想与大家都在使用的通用代理互动，无论是Meta AI、ChatGPT还是其他。他们想要创建自己独特的代理。这大致就是我们在“AI工作室”的发展方向。这都是我们更宏大愿景的一部分，我们认为人们不应该只与一个大型AI互动；我们相信，拥有多样化的不同AI解决方案会让世界变得更美好。

Jensen Huang

我觉得这真的很酷。如果你是一个艺术家，有自己独特的风格，你可以提取你的风格和所有作品，微调你的模型，然后这就变成了一个你可以使用的AI模型。你可以让我创作一些与你的艺术风格相似的东西，甚至可以给我一件艺术作品作为灵感，让我为你生成一些内容。你可以通过我的机器人或AI来获取这些内容。未来，可能每家餐厅和每个网站都会有这样的AI。

Mark Zuckerberg

就像现在每个企业都有电子邮件地址、网站和一个或多个社交媒体账号一样，未来每个企业都会有一个与客户互动的AI代理。这些任务在历史上实现起来相当具有挑战性。例如，在任何公司，客户支持通常是一个与销售分开的组织。然而，作为CEO，你并不希望它是这样的运作模式。

作为CEO，你必须处理所有事情。当你在组织中建立抽象结构时，很多时候，组织是分开的，因为它们针对不同的事物进行了优化。我认为理想的情况是这应该是一个整体。作为客户，你并不在乎。当你尝试购买某样东西时，和当你遇到购买问题时，不想走不同的路径。你只想有一个地方可以得到问题的答案，并能够以不同方式与企业互动。我认为这对创作者也是适用的。

Jensen Huang

与客户的所有互动，尤其是在出现投诉时，都会使你的公司变得更好。

与AI的所有互动将捕捉到机构知识，所有这些都可以用于分析，从而改善AI，形成良性循环。

Mark Zuckerberg

商业版本的这一点，我认为有更多的整合，我们仍处于比较早的Alpha阶段，但“AI工作室”让人们可以创建他们的用户生成内容（UGC）代理和其他各种功能，并开始这个创作者创建的良性循环。我对此感到非常兴奋。

Jensen Huang

我可以使用“AI工作室”对我的图像集合进行微调吗？

Mark Zuckerberg

是的，我们会实现这一点。

Jensen Huang

我可以加载我写过的所有东西，以便用作我的检索增强生成（RAG）工具吗？

Mark Zuckerberg

是的，基本上是这样的。

Jensen Huang

每次我返回时，它都会重新加载记忆，这样它就能记住上次结束的地方。我们可以继续对话，就好像中间没有间断一样。

Mark Zuckerberg

与任何产品一样，它会随着时间的推移而改进。训练它的工具也会变得更好。这不仅仅是关于你希望它说什么。通常，创作者和企业也有一些希望避免的话题。在这些方面的改进，理想的版本不仅仅是文本。

你几乎想要能够，这与我们正在进行的一些编码化虚拟形象（Codec Avatar）工作有交集。你基本上希望能够与代理进行几乎像视频聊天一样的互动。我认为随着时间的推移我们会达到这个目标。我认为这些技术离我们并不远，但发展的势头非常迅猛，所以这令人兴奋。有很多新的东西要构建，即使基础模型的进展现在停止了（我认为不会），我们在行业中会有五年的产品创新，基本上会找出如何最有效地利用迄今为止所构建的所有东西。实际上，我认为基础模型和基础研究的进展正在加速，所以这是一个非常激动人心的时刻。

Jensen Huang

作为CEO，我们就像娇嫩的花朵；我们需要很多支持。

Mark Zuckerberg

到目前为止，我们已经相当成熟。我认为我们是这个行业中最久的创始人。

Jensen Huang

这是真的。

Mark Zuckerberg

你的头发变白了，我的头发只是变长了。

Jensen Huang

我的头发变白了，你的头发变卷了。

Mark Zuckerberg

我一直是卷发，所以我保持短发。

Jensen Huang

如果我早知道成功需要这么长时间，我就会像你一样退学，争取早点开始创业了。

Mark Zuckerberg

这恰恰反映了我们性格上的一个有意思区别。

Jensen Huang

你比我早了12年开始，这优势可不小啊。

Mark Zuckerberg

你的成就也非常了不起。

Jensen Huang

我能坚持到底，就这么说吧。

我很欣赏你的愿景，因为它让每个人、每家企业都能拥有自己的AI。在我们公司，我希望每位工程师和软件开发人员都能拥有一个或多个AI。我尤其赞同你的观点，认为每个人和每家公司都应该能够创造自己的AI。当你开源LLaMA时，我觉得这是一个非常棒的决定。顺便说一下，我认为LLaMA 2是去年AI领域最重大的事件，原因在于……

Mark Zuckerberg

我觉得是H100。

Jensen Huang

这就像“先有鸡还是先有蛋”的问题，哪个先出现呢？

Mark Zuckerberg

是H100。实际上，LLaMA 2并不是基于H100的。

Jensen Huang

哦，是A100。谢谢。

我之所以说LLaMA 2是最大事件，是因为它的发布激活了每一家公司、每一个企业和每一个行业。突然间，每个医疗公司都在开发AI；每个公司都在构建AI；无论是大公司、小公司还是初创企业，都在开发AI。这使得每个研究人员都能够重新接触AI，因为他们有了一个起点去做事情。现在，3.1版本已经发布，我们共同部署3.1，我们正将其推向全球企业，整个行业的兴奋程度达到了顶峰。我认为它将使各种创新应用成为可能。

能否谈谈你的开源理念？这种想法源于哪里？你开源了PyTorch，现在它已经成为AI领域的主要框架。现在你又开源了LLaMA 3.1。围绕它建立了一个完整的生态系统，我认为这太棒了。这一切是如何开始的？

Mark Zuckerberg

这背后有很长的历史。我们在开源领域做了大量工作。坦率地说，部分原因是我们在构建分布式计算基础设施和数据中心方面起步晚于一些其他科技公司。因此，当我们建立起这种基础设施时，它并不是我们的竞争优势。我们想，“既然如此，不如把它公开发布”，这样我们就可以从周围的生态系统中受益。我们有很多这样的项目，我认为最大的一个可能是开放计算（Open Compute）项目，我们公开了服务器设计、网络设计，甚至数据中心设计。通过将其变成某种行业标准，整个供应链基本上都围绕它组织起来，这使每个参与者都能节省成本。通过公开和开放，我们从中节省了数十亿美元。

Jensen Huang

开放计算也使NVIDIA HGX成为可能。我们为一个数据中心设计的产品，突然间可以在每个数据中心运行。

Mark Zuckerberg

这确实是一次很棒的经历。我们还对许多基础设施工具进行了类似的开源工作，比如React和PyTorch。当LLaMA出现时，我们对专门为AI模型做开源持积极态度。回顾过去20年在公司构建各种项目的过程，我感到非常欣慰。

其中最具挑战性的一件事就是，我们必须在竞争对手的移动平台上发布应用。一方面，移动平台对整个行业是巨大的推动力，这很棒；另一方面，通过竞争对手来交付产品确实充满挑战。我成长在Facebook最初版本在网络上发布的时代，那时网络是开放的。然后，随着向移动平台的过渡，积极的一面是现在每个人口袋里都有一台电脑，这太棒了；消极的一面是我们在可以做的事情上受到了更多限制。

当你审视这一代计算时，存在一个很大的近期偏见，大家只关注移动，认为“好吧，由于封闭的生态系统，苹果基本上获胜并制定了规则。”我知道从数量上讲Android手机更多，但苹果基本上占据了整个市场和大部分利润。基本上，Android在发展上有点跟随苹果的步伐。我认为苹果在这一代产品中明显占据优势。但事情并非总是如此。如果回顾上一代，苹果也在做封闭的事情，但微软虽然不是一个完全开放的公司，却与众多OEM合作，支持各种软件和硬件，因此Windows相比之下是一个更开放的生态系统。在PC时代，Windows是领先的生态系统。

在PC时代，开放生态系统获胜了，我希望在下一代计算中，我们能回归到开放生态系统再次胜出的局面。封闭和开放的生态系统总会并存；我认为两者都有存在的理由，各有优点。我并不是一个极端主义者。我们也做封闭源的东西，并不是所有我们发布的都是开放的。但我认为，一般来说，对于整个行业构建的平台而言，特别是如果软件是开放的，这会创造很多价值。这塑造了我在这个问题上的理念。

对于LLaMA这样的AI以及我们在增强现实和虚拟现实中所做的工作，我们基本上将为混合现实构建的Horizon OS打造成一个开放操作系统，就像Android或Windows那样。我们希望能够与众多硬件公司合作，制作各种不同类型的设备。我们只是想将生态系统恢复到开放的状态。我对下一代开放的生态系统将获胜持乐观态度。对我们而言，这可能有点自私，但在经营这家公司一段时间后，我接下来10到15年的一个目标是确保我们能够构建基础技术，来打造卓越的社交体验，因为过去有太多我想构建的东西，却被平台提供商告知“你不能这样做”。在某种程度上，我只是想说，“不，在下一代，我们将自己构建所有东西，并确保……”

Jensen Huang

我认为这是一个精彩的愿景，有人致力于构建最佳的AI，无论他们如何构建，并将其作为服务提供给世界。如果你想构建自己的AI，你依然可以做到。使用AI的能力……有许多事情我更愿意让别人来做，而不是自己动手。对我来说，皮革是否开源并不重要。然而，我认为拥有出色的服务、令人难以置信的服务以及开放服务的理念，意味着我们基本上涵盖了所有可能性。

你们在3.1版本上所做的事情非常棒：有405B、70B、8B参数的模型。可以用它们进行合成数据生成；使用较大的模型来指导较小的模型。虽然较大的模型更通用，但它们不那么脆弱。你仍然可以构建一个适合你所希望的操作领域或操作成本的较小模型。我认为LLaMA Guard用于保护是很棒的。因此，你们构建模型的方式是透明的；你们有一个世界级的安全团队，一个世界级的伦理团队。你们以一种让每个人都知道它是正确构建的方式进行开发，我非常喜欢这一点。

Mark Zuckerberg

我确实认为我们构建这个东西，是因为我们希望它存在，并希望它不被某种封闭模型所限制。这不仅仅是一个软件项目；需要一个生态系统。如果我们不进行开源，它几乎不会运作得那么好。我们并不是出于纯粹的利他主义才这样做，尽管我认为这会对生态系统有帮助。我们这样做是因为我们认为这将使我们正在构建的东西变得更好，拥有一个强大的生态系统。

Jensen Huang

有多少人参与了PyTorch生态系统？

Mark Zuckerberg

总的来说，工程师的数量是相当庞大的。对吧？

Jensen Huang

仅NVIDIA，我们可能有几百人专门致力于使PyTorch更好、更具可扩展性和性能等。

Mark Zuckerberg

这也是当某件事情成为行业标准时的优势，其他人会围绕它进行工作。所有的芯片和系统最终将被优化以很好地运行这个东西，这将使每个人受益，同时也会与我们正在构建的系统良好配合。这只是一个例子，说明这最终会变得非常有效。

我认为开源策略将是一个好的商业策略。我相信人们仍然不太理解这一点。

Jensen Huang

我们非常喜欢它，以至于围绕它建立了一个生态系统。我们创建了一些名为ONNX的项目。

Mark Zuckerberg

你们在这方面表现得太棒了。每次我们发布东西时，你们总是第一个发布、优化并使其正常运行。我很感激。

Jensen Huang

我们有优秀的工程师。

Mark Zuckerberg

你们总是能快速反应。

Jensen Huang

虽然我年纪大了，但我思维灵活；这正是一个CEO必须具备的素质。

我意识到某些事情的重要性。我相信LLaMA确实很重要。我们围绕它构建了一个叫做“AI Foundry”的概念，旨在帮助每个人构建自己的AI。很多人希望创造AI，拥有它对他们来说至关重要。一旦他们将其整合到数据循环中，这就是他们公司的知识如何被编码并嵌入到AI中。他们无法承受让AI循环、数据循环和那种体验循环在其他地方存在的代价。

开源使他们能够做到这一点，但他们并不知道如何将整个过程转化为AI。因此，我们创建了一个叫做“AI Foundry”的项目。我们提供工具、专业知识和LLaMA技术。我们有能力帮助他们将整个过程转变为AI服务，当我们完成后，他们就可以接管并拥有它。这个过程的输出是我们所称的神经NVIDIA推理微服务（NIM）。他们只需下载，带走并在任何地方运行，包括本地部署。我们有一个完整的合作伙伴生态系统，包括能够运行NIM的OEM和像Accenture这样的全球系统集成商（GSI），我们已经与之合作以创建基于LLaMA的NIM和流程。现在，我们正在帮助全球的企业。这确实是一个令人兴奋的发展，都是由LLaMA的开源触发的。

Mark Zuckerberg

我认为，特别是帮助人们从大模型中提炼自己的模型的能力，将会是一个非常有价值的新事物，因为我认为不会存在一个所有人都在同一层次上交流的主要AI代理。我认为也不一定会有一个大家都使用的统一模型。

Jensen Huang

我们有芯片设计AI、软件编码AI，而且软件编码AI理解USD，因为我们在Omniverse的内容中使用USD编码。我们有一个理解Verilog的软件AI。还有一个理解我们的错误数据库，并知道如何帮助我们分类错误并将其发送给正确工程师的软件AI。每一个这样的AI都是基于LLaMA进行微调的，因此我们对它们进行了微调并设置了保护机制。如果我们有一个用于芯片设计的AI，我们不想让它回答政治、宗教等问题。因此我们对它进行了限制。我认为每个公司都会为他们的每一个功能构建AI，他们需要帮助来做到这一点。    

Mark Zuckerberg

未来一个重要问题是：人们会在多大程度上使用更大、更复杂的模型，而不是根据自身需求训练专门的模型？我敢说，未来肯定会有各种各样的模型供人们选择。

Jensen Huang

我们之所以使用最大的模型，是因为工程师的时间极其宝贵。目前，我们正在对405B参数的模型进行性能优化。你也知道，这种规模的模型无法适配任何单个GPU，不管它有多强大。这就是为什么NVLink性能如此关键。我们的每块GPU都通过名为NVLink的非阻塞交换机相互连接。比如在HGX中，有两个这样的交换机，使所有GPU能协同工作，高效运行405B参数模型。我们这么做是因为工程师的时间对我们来说太宝贵了。我们希望使用尽可能好的模型；至于能否节省一点成本，谁在乎呢？我们只想确保为他们提供最高质量的结果。

Mark Zuckerberg

我估计405B参数模型的推理成本大约是GPT-4的一半。从这个角度看，它相当不错。不过，我认为如果人们想在设备上执行任务或使用更小的模型，他们会对其进行压缩。那是另一套完全不同的服务了。

Jensen Huang

假设我们雇用AI来进行芯片设计，可能每小时花费10美元。如果你持续使用它，并在一群工程师之间共享，那么每个工程师使用AI的成本就不会太高。我们给工程师支付高薪，所以对我们来说，每小时几美元就能增强这些真正有价值的人才的能力，这是很合算的。

让我们聊聊下一波技术浪潮。我非常欣赏你们在计算机视觉方面的工作，我们内部使用的一个模型就是Segment Anything。我们现在正在训练视频AI模型，以便更好地理解世界，并为机器人和工业数字化建模。将这些AI模型与Omniverse结合，使我们能更好地建模和呈现物理世界，让机器人在这些Omniverse世界中运行得更好。你们的应用程序（Ray-Ban Meta智能眼镜），以及你们将AI引入虚拟世界的愿景，真的很有意思。能给我们讲讲相关情况吗？

Mark Zuckerberg

好的，这里面确实包含了很多内容。你提到的Segment Anything模型，我们实际上将在SIGGRAPH大会上展示下一个版本，即Segment Anything 2。它现在已经支持视频了。我想那些视频里的牛应该是我夏威夷农场上的。

Jensen Huang

顺便说一句，那应该叫“美味的Mark家的牛肉”。

下次我们再聚会时，Mark可以来我家，我们一起做费城奶酪牛排。下次你带牛肉来。

Mark Zuckerberg

你真的做了？我更像是个帮厨；那顿饭真的很棒。

不过到最后一晚，你问我：“嘿，你吃饱了吗？”我说：“我不确定，我还能再吃一个。”你问：“真的吗？”

Jensen Huang

通常当你这样问“你吃饱了吗？”时，客人会说，“哦，不用了，我很好。”

Mark Zuckerberg

“再给我做一个奶酪牛排吧。”

Jensen Huang

只是让大家知道他有多么讲究，我转身准备奶酪牛排时，对他说：“Mark，你来切西红柿。”于是我递给他一把刀。

Mark Zuckerberg

我可是个精确的切菜高手。

Jensen Huang

他切的每一片西红柿，都精确到毫米。有意思的是，我原以为所有的西红柿都会被切片后堆放在一起，像一叠卡片。但当我转身时，他说他需要另一个盘子。原因是他切的所有西红柿片——没有一片是相互接触的。一旦他将一片西红柿与另一片分开，它们就不应该再接触。

Mark Zuckerberg

听着，如果你希望它们接触，你应该告诉我啊。

我只是个帮厨而已。好吧。

Jensen Huang

这就是为什么他需要一个能做出判断的AI。

这（Segment Anything 2）真的很酷。它能够识别和追踪牛。

Mark Zuckerberg

这项技术将能创造出许多有意思的效果。由于它是开源的，许多更严肃的应用也会在各行各业涌现。科学家们正在利用这项技术研究珊瑚礁、自然栖息地、景观变迁等领域。能够在视频中实现这一点，具备零样本学习能力，能与之互动并指定你想追踪的目标，这是非常令人印象深刻的研究成果。

Jensen Huang

举个例子，想象一个装有众多摄像头的仓库。仓库的AI监控着所有发生的事情。如果一堆箱子倒塌了，某人把水洒在地上，或任何其他可能发生的事故，AI都能识别并生成相关文本，发送给相关人员，并派遣援助。这是它的一种用途。与其记录所有内容，不如在发生意外时，AI会开始记录每一秒的视频，并提取那个特定时刻，只捕捉重要信息，因为它知道自己在观察什么。拥有一个视频理解模型和一个视频语言模型，对于这些有意思的应用来说是非常强大的。

现在，除了Ray-Ban智能眼镜，你们还在研究什么？跟我聊聊。

Mark Zuckerberg

还有所有的智能眼镜，当我们考虑下一代计算平台时，我们将其划分为混合现实、头戴式显示器和智能眼镜三个类别。智能眼镜因其便捷性和日常佩戴的普遍性，更容易被人们理解和接受。毕竟，几乎所有现在戴眼镜的人最终都可能升级到智能眼镜。考虑到全球有超过十亿人戴眼镜，智能眼镜市场无疑具有巨大的潜力。

关于VR头戴式显示器，人们的看法不一。有些人觉得它们在游戏或其他特定用途上非常有意思，而有些人则不然。但我认为，这些不同的设备会在市场上共存。智能眼镜将更像是手机，作为随时在线的下一代计算平台；而混合现实头戴式显示器则更像是工作站或游戏主机，提供更为沉浸式的体验，并在需要时提供强大的计算能力。

眼镜的形态非常小，这会带来许多限制，就像你无法在手机上达到与台式机相同的计算水平一样。

Jensen Huang

这一发展与生成式AI的所有突破完美契合。

Mark Zuckerberg

我们从两个不同的方向来解决智能眼镜的问题。一方面，我们一直在开发我们认为理想的全息增强现实眼镜所需的技术。我们正在开发所有定制的芯片和显示技术栈，以使其正常工作。它们是眼镜，而不是头戴式显示器；它们看起来不像VR或MR头盔；它们就是眼镜的样子。然而，它们仍然与你现在戴的眼镜有很大差距。普通眼镜非常薄，但即使是我们生产的Ray-Ban眼镜，也无法容纳创建全息增强现实所需的所有技术。

我们正在接近这一目标，我认为在未来几年我们将取得更大进展。它仍然会相当昂贵，但我认为我们将开始看到一款可行的产品。我们从另一个角度切入这个问题，即通过与世界上最优秀的眼镜制造商Essilor Luxottica合作，推出外观出色的眼镜。他们基本上生产了你所知道的所有大品牌眼镜，无论是Ray-Ban、Oakley还是Oliver Peoples，或其他一些品牌。

Jensen Huang

他们有点像眼镜界的NVIDIA。

Mark Zuckerberg

我想他们可能会喜欢这个比喻，不过现在谁不想被这样比喻呢？

我们一直在与他们合作开发Ray-Ban智能眼镜。现在我们已经到了第二代，目标是将外形设计限制在看起来很好的尺寸内。在此基础上，我们希望尽可能多地集成技术，尽管我们知道在技术上不可能完全实现我们想要的理想状态。但这些眼镜看起来会很棒。目前，我们有摄像头传感器，可以拍照和录像。你实际上可以将视频直播到Instagram；你可以通过WhatsApp进行视频通话，并将你看到的内容实时传递给对方。

它配有麦克风和扬声器。扬声器实际上非常好；它是开放式耳机，很多人发现比入耳式耳机更舒适。你可以听音乐，这是一种很不错的私密体验。人们喜欢用它来接听电话。结果发现，这个传感器组合正好满足了与AI对话的需求。

这有点出人意料。如果你在五年前问我，我们是否会在AI之前获得全息增强现实技术，我会说，“是的，很可能。”这似乎是图形技术进步和虚拟与混合现实技术发展的自然延续，需要建立新的显示技术栈。我们只是一直在向前推进。

然而，随着大型语言模型的突破，结果发现我们现在拥有了高质量的AI，而且它的进步速度非常快，甚至在我们实现全息增强现实之前就出现了。这是一种我没有预料到的反转。幸运的是，我们的定位很好，因为我们一直在开发这些不同的产品。我认为最终会形成一系列不同的眼镜产品，价格和技术水平各不相同。

根据我们目前对Ray-Ban Meta智能眼镜的观察，我猜测售价约300美元的支持AI的眼镜将会成为一个非常大的产品，最终会有数千万甚至数亿人拥有。

Jensen Huang

你将会有超级互动的AI作为对话伙伴。你将拥有视觉语言理解、实时翻译功能——你可以用一种语言与我交谈，而我听到的却是另一种语言。

Mark Zuckerberg

显示效果显然也会很棒，但这会增加眼镜的重量，使其变得更贵。我认为会有很多人想要那种全息显示，但也会有很多人希望最终能拥有非常薄的眼镜。

Jensen Huang

好吧，对于工业应用和某些工作场景来说，我们确实需要这种功能。

Mark Zuckerberg

我认为对于消费品也是如此。

Jensen Huang

你真这么认为？

Mark Zuckerberg

是的。在新冠疫情期间我考虑过这个问题，当时每个人都在远程工作。我们花了很多时间在Zoom上。我们现在有了很好的视频会议工具，但在不远的将来，我们就能进行虚拟会议，那时我并不在现场，只是我的全息影像在那里。感觉我们在一起，并且可以一起协作工作。我认为这在与AI结合使用时会特别重要。

Jensen Huang

我可以接受一款不需要一直佩戴的设备。

Mark Zuckerberg

我认为我们最终会达到这样的状态。在眼镜中，会有更薄的框架、较厚的框架和各种风格。我认为我们距离拥有与现在普通眼镜外形完全相同的全息眼镜还有一段距离，但拥有一副时尚的、稍微厚一点框架的眼镜并不是遥不可及的事。

Jensen Huang

这些太阳镜现在就很时尚。我能看出这一点。

Mark Zuckerberg

是的，这确实是一个非常有用的风格方向。

Jensen Huang

确实，这很有帮助。

Mark Zuckerberg

我正努力成为时尚圈有影响力的人，这样我就能在新品眼镜还没推出时就带动潮流。

Jensen Huang

我能看出你在尝试这一点。你的时尚影响力进展如何？

Mark Zuckerberg

还在起步阶段。

我感觉，如果未来商业的很大一部分是推广人们佩戴的时尚眼镜，那么这就是我应该多加关注的事情。然后我们必须告别那个每天穿同样衣服的我。但这也是眼镜产品的特殊之处。我认为这与手表或手机不同；人们真的不想都戴着一模一样的眼镜。我确实认为这是一个适合开放生态系统的平台。因为我认为人们对不同形式和风格的需求将是巨大的。并不是每个人都想戴上别人设计的那种眼镜。我不认为那样的产品会成功。

Jensen Huang

我们生活在一个令人难以置信的时代，整个计算技术栈正在被重新定义。我们对软件的思考方式，从Andrej所说的“软件1.0”和“软件2.0”，到现在我们基本上已经进入了“软件3.0”时代。我们的计算方式，从通用计算到生成式神经网络的处理方式，现在我们可以开发出过去难以想象的能力和应用。这项生成式AI技术，我记不起有其他技术能以如此快的速度同时影响消费者、企业和科研领域。它能够横跨气候技术、生物技术和物理科学等多个科学领域，在我们遇到的每一个领域，生成式AI都处于这种根本性变革的中心。

此外，你提到生成式AI将对社会产生深远影响。我们正在开发的产品，以及我非常兴奋的一件事，有人之前问我是否会有一个“Jensen Huang AI”。好吧，这正是你所说的创意AI，我们可以构建自己的AI，用我所写的所有内容来训练它，并用我回答问题的方式进行微调。希望随着时间的推移，这种使用的积累能成为一个非常好的助手和伴侣，帮助许多只想提问或交流想法的人。这将是一个版本的Jensen Huang，正如你之前所说的，不会评判人。你不会害怕被评判，可以随时与它互动。但我认为这些都是非常不可思议的事情。

我们经常需要写很多东西，仅仅给它三四个主题，这些是我想写的基本内容，然后用我的语气风格写出来，作为一个起点，这是多么令人难以置信。现在我们可以做的事情有很多。与你们合作真的很棒，我知道创办和经营一家公司并不容易。你们将公司从桌面转向移动、虚拟现实再到AI，这些设备的转型，真是了不起的过程。NVIDIA自己也经历了多次转型，我知道这有多难。多年来，我们都经历过很多挫折，但这就是想要成为开拓者和创新者所必须经历的。看到你们的成长真是太棒了。

Mark Zuckerberg

我也是这么想的。我不确定如果你仍在做之前的事情，但又在此基础上不断添加新的内容，这是否算得上是转型。这一切都在不断增添新的篇章，我认为你也是如此。看到你们的发展历程很有意思。我们经历了一个阶段，大家都觉得“没关系，一切都将转向这些小型设备，计算会变得超级便宜。”而你们则坚持不懈地努力，告诉大家“不，其实你们会需要这些可以并行处理的大型系统。”

Jensen Huang

我们走了另一条路。我们没有一味地追求越来越小的设备，反而做了一些在当时看来体积有些“不合时宜”的计算机。

Mark Zuckerberg

确实有点“不合时宜”。

Jensen Huang

简直是超级“不合时宜”。不过，现在这确实很酷。我们并非从图形芯片，即GPU开始说起，但当你部署GPU时，它仍然被冠以Hopper H100之名。扎克伯格提到H100时，他的数据中心里大约有60万个这样的单元。

Mark Zuckerberg

我们是很好的客户。这就是我们在SIGGRAPH上获得参与“Jensen Huang Q&A”环节的方式。

Jensen Huang

哇，等等！我原本是想进行“Mark Zuckerberg Q&A”的。你是我的嘉宾...

Mark Zuckerberg

你有一天给我打电话说，“嘿，过几周我们要在SIGGRAPH上做这个活动。”我回答说，“我觉得那天在丹佛没什么安排，听起来很有意思。”

Jensen Huang

没错，我那天下午也没有安排。你来了，结果简直不可思议。你们构建的这些系统，它们是巨型系统，协调起来非常困难，运行起来也非常复杂。你说你们的GPU之旅起步晚于大多数人，但你们的运营规模几乎超过所有人，看到这一切真是令人惊叹。

祝贺你所取得的一切成就，而你现在也成了个时尚偶像。看看这个家伙，哈！

Mark Zuckerberg

还在早期阶段。正在努力。正在努力。

 

---【本文完】---

 

文章转载自：Andy730 公众号