英伟达在推理方面的全新GPU推理平台包括：4种配置(L4 Tensor Core GPU、L40 GPU、H100 NVL GPU、Grace Hopper超级芯片)、一个体系架构、一个软件栈，分别用于加速AI视频、图像生成、大型语言模型部署和推荐系统。
“加速计算并非易事，2012年，计算机视觉模型AlexNet动用了GeForce GTX 580，每秒可处理262 PetaFLOPS。该模型引发了AI技术的爆炸。”“十年之后，Transformer出现了，GPT-3动用了323 ZettaFLOPS的算力，是AlexNet的100万倍，创造了ChatGPT这个震惊全世界的AI。崭新的计算平台出现了，AI的‘iPhone时刻’已经来临。”
当地时间3月21日，英伟达首席执行官黄仁勋将OpenAI的ChatGPT称为人工智能的“iPhone时刻”，并在该公司的春季GTC大会上宣布了专为其设计的推理GPU(图形处理器)。
除此之外，英伟达还发布了AI超级计算服务DGX Cloud、突破性的光刻计算库cuLitho、加速企业创建大模型和生成式AI的云服务NVIDIA AI Foundations等，以及与Quantum Machines合作推出了全球首个GPU加速量子计算系统。
ChatGPT专用GPU
其中最主要的是H100 NVL，它将英伟达的两个H100 GPU拼接在一起，以部署像 ChatGPT这样的大型语言模型(LLM)。“当前唯一可以实际处理ChatGPT的 GPU是英伟达HGX A100。与前者相比，现在一台搭载四对H100和双NVLINK的标准服务器速度能快10倍，可以将大语言模型的处理成本降低一个数量级。”黄仁勋说。
H100 NVL将英伟达的两个 H100 GPU 拼接在一起，以部署像 ChatGPT 这样的大型语言模型 (LLM)。
H100不是新的GPU，英伟达在一年前的GTC上展示了其Hopper架构，并在各种任务中加速AI推理(推理是机器学习程序部署的第二阶段，此时运行经过训练的程序以通过预测来回答问题)。英伟达表示，H100 NVL附带94GB 内存，与上一代产品相比，H100的综合技术创新可以将大型语言模型的速度提高30倍。
据黄仁勋透露，H100 NVL预计将在今年下半年上市。
第二款芯片是用于AI Video的L4，在视频解码和转码、视频内容审核、视频通话功能上做了优化。英伟达称其可以提供比CPU高120倍的AI视频性能，同时能效提高99%。也就是说，一台8-GPU L4服务器，将取代一百多台用于处理AI视频的双插槽CPU服务器。
用于AI Video的L4芯片，在视频解码和转码、视频内容审核、视频通话功能上做了优化。
“谷歌是第一家提供L4视频芯片的云提供商，目前处于私人预览版。L4将集成到谷歌的Vertex AI模型商店中。”黄仁勋说。除了谷歌的产品外，L4还在30多家计算机制造商的系统中提供，其中包括研华、华硕、源讯、思科、戴尔科技、富士通、技嘉、惠普企业、联想、QCT 和超微。
同时，英伟达还针对Omniverse、图形渲染以及文本转图像/视频等生成式AI推出了L40芯片。其性能是英伟达最受欢迎的云推理GPU T4的10倍。另外，英伟达还推出了全新的超级芯片Grace-Hopper，适用于推荐系统和大型语言模型的AI数据库，图推荐模型、向量数据库和图神经网络的理想选择，通过900GB/s的高速一致性芯片到芯片接口连接英伟达Grace CPU和Hopper GPU。
4种配置(L4 Tensor Core GPU、L40 GPU、H100 NVL GPU、Grace Hopper超级芯片)、一个体系架构、一个软件栈，分别用于加速AI视频、图像生成、大型语言模型部署和推荐系统。
总体而言，英伟达在推理方面的全新GPU推理平台包括：4种配置(L4 Tensor Core GPU、L40 GPU、H100 NVL GPU、Grace Hopper超级芯片)、一个体系架构、一个软件栈，分别用于加速AI视频、图像生成、大型语言模型部署和推荐系统。
月租云端AI算力
在黄仁勋的主题演讲中，多次提到了ChatGPT的创建者OpenAI。黄仁勋于2016年向该公司交付了附有自己签名和赠语的全球第一台DGX。这台集成了8块通过NVLink共享算力的H100组成的超级计算机，为OpenAI奠定了创造ChatGPT的重要算力基础。
“自OpenAI使用DGX以后，《财富》100强企业中有一半安装了DGX AI超级计算机。DGX已成为AI领域的必备工具。”黄仁勋说。
在GTC大会上，英伟达推出云端人工智能DGX Cloud。DGX Cloud提供了专用的 NVIDIA DGX AI超级计算集群，用户能够按月租用这些计算资源，并使用简单的网络浏览器访问。从而消除在本地获取、部署和管理基础设施的成本，大大增加了AI的便捷性。
“如今通过一个浏览器，就能将DGX AI超级计算机即时地接入每家公司。”黄仁勋憧憬道。
每个DGX Cloud实例都具有8个H100或A100 80GB Tensor Core GPU，每个节点共有640GB GPU内存。
据介绍，每个DGX Cloud实例都具有8个H100或A100 80GB Tensor Core GPU，每个节点共有640GB GPU内存。使用NVIDIA Networking构建的高性能、低延迟结构确保工作负载可以跨互连系统集群扩展，允许多个实例充当一个巨大的GPU，以满足高级AI训练的性能要求。
月租的价格，据黄仁勋介绍，每个实例每月36999美元起。
在演讲中，黄仁勋宣布，英伟达将与云服务提供商合作托管DGX云基础设施。目前英伟达已经与甲骨文达成合作，甲骨文的OCI RDMA Supercluster已经提供了一个可扩展到超过32000个GPU的超级集群。微软Azure预计下个季度开始托管DGX Cloud，很快谷歌云也将加入托管的行列。
挑战物理极限，光刻提速40倍
除了芯片，黄仁勋还谈到了一个名为cuLitho的计算光刻库，它将部署在芯片制造中。光刻计算库cuLitho可将计算光刻加速40倍以上，使得2nm及更先进芯片的生产成为可能。
光刻计算库cuLitho可将计算光刻加速40倍以上，使得2nm及更先进芯片的生产成为可能。
全球最大晶圆厂台积电、全球光刻机霸主阿斯麦、全球最大EDA巨头新思科技均参与合作并引入这项技术。该计划旨在加快制造光掩模的任务，光掩模是塑造光投射到硅晶片上以制造电路的方式的屏幕。
计算光刻模拟了光通过光学元件并与光刻胶相互作用时的行为，应用逆物理算法来预测掩膜板上的图案，以便在晶圆上生成最终图案。
光刻是芯片制造过程中最复杂、最昂贵、最关键的环节，其成本约占整个硅片加工成本的1/3甚至更多。计算光刻模拟了光通过光学元件并与光刻胶相互作用时的行为，应用逆物理算法来预测掩膜板上的图案，以便在晶圆上生成最终图案。
计算光刻是提高光刻分辨率、推动芯片制造达到2nm及更先进节点的关键手段。
“计算光刻是芯片设计和制造领域中最大的计算工作负载，每年消耗数百亿CPU小时。大型数据中心24×7全天候运行，以便创建用于光刻系统的掩膜板。这些数据中心是芯片制造商每年投资近2000亿美元的资本支出的一部分。”而黄仁勋说，cuLitho能够将计算光刻的速度提高到原来的40倍。
也就是说英伟达H100 GPU需要89块掩膜板，在CPU上运行时，处理单个掩膜板需要两周时间，而在GPU上运行cuLitho只需8小时。
据介绍，台积电可通过在500个DGX H100系统上使用cuLitho加速，将功率从35MW降至5MW，替代此前用于计算光刻的40000台CPU服务器。 使用cuLitho的晶圆厂，每天可以生产3-5倍多的光掩膜，仅使用当前配置电力的1/9。
黄仁勋说，该软件正被集成到全球最大的代工芯片制造商台积电的设计系统中，台积电将于6月开始对cuLitho进行生产资格认证。它还将被集成到Synopsys的设计软件中，Synopsys是少数几家使用软件工具制造新芯片底板的公司之一。
新思科技董事长兼CEO Aart de Geus称，在英伟达的cuLitho平台上运行新思科技的光学邻近校正(OPC)软件，将性能从几周加速到几天。
台积电CEO魏哲家则夸赞它为台积电在芯片制造中广泛地部署光刻解决方案开辟了新的可能性，为半导体规模化做出重要贡献。阿斯麦CEO Peter Wennink称阿斯麦计划将对GPU的支持集成到其所有的计算光刻软件产品中。
其他更新
英伟达还推出了全新云服务及代工厂NVIDIA AI Foundations，这个云服务包括语言、视觉和生物学模型制作服务。
其中，Nemo是用于构建定制的语言文本转文本生成式模型。