3月22日晚11点,GTC22 | 黄仁勋主题演讲公布多个“全球首款”。这次演讲他带来一系列堪称“地表最强”的AI重磅新品,整个演讲长达2小时,信息量巨大,整理汇总后,让我们一文来了解2002 GTC 黄教主的精彩分享。
一 硬件及技术:
(一)新GPU产品及技术:
1、H100 GPU
基于Hopper新架构的GPU。
采用台积电4N工艺,拥有800亿个晶体管,实现了首个GPU机密计算,相比A100,FP8性能提升6倍,FP16、TF32、FP64性能各提升3倍。
H100是首款支持PCIe 5.0的GPU,也是首款采用HBM3标准的GPU,单个H100可支持40Tb/s的IO带宽,实现3TB/s的显存带宽。
2、基于H100,英伟达最先进的企业级AI基础设施DGX H100系统、DGX POD、DGXSuperPOD
每个DGXH100系统配备8块H100 GPU,总计有6400亿个晶体管,由NVLink连接,在全新的FP8精度下AI性能可达32Petaflops,比上一代系统性能高6倍。可提供900GB/s的带宽。
DGX SuperPOD
最多由32个DGX H100组成,FP8 AI性能达1Exaflops。DGX H100系统是新一代英伟达DGX POD和DGX SuperPOD超级计算机的构建模块。
新一代DGXSuperPOD可提供1Exaflops的FP8 AI性能,比上一代产品性能高6倍,能够运行具有数万亿参数的大型语言模型工作负载;还有20TB的HBM3显存、192TFLOPS的SHARP网络计算性能。
通过采用Quantum-2 InfiniBand连接及NVLink
Switch系统,新DGX SuperPOD架构在GPU之间移动数据的带宽高达70TB/s,比上一代高11倍。
Quantum-2 InfiniBand交换机芯片拥有570亿个晶体管,能提供64个400Gbps端口。多个DGX SuperPOD单元可组合使用。
3、全新NVLink Switch系统
高度可扩展,支持256块H100 GPU互连。
4、融合加速器H100 CNX
耦合H100 GPU与ConnectX-7和以太网智能网卡,可为I/O密集型应用提供更强劲的性能。
5、Eos超级计算机
黄仁勋还透露说,英伟达正在打造Eos超级计算机,并称这是“首个Hopper AI工厂”,将于数月后推出。该超算配备576台DGXH100系统,FP8算力达到18EFLOPS,PF64算力达到275PFLOPS。
(二)CPU方面
除了GPU外,英伟达数据中心“三芯”战略((GPU+DPU+CPU))中另一大支柱CPU在本次GTC大会也公布了新进展。
1、Grace CPU超级芯片
首款面向HPC和AI基础设施的基于Arm Neoverse的数据中心专属CPU——Grace CPU超级芯片。这被黄仁勋称作“AI工厂的理想CPU”。
据介绍,GraceHopper超级芯片模组能在CPU与GPU之间进行芯片间的直接连接,其关键驱动技术是内存一致性芯片之间的NVLink互连,每个链路的速度达到900GB/s。
Grace CPU超级芯片也可以是由两个CPU芯片组成。它们之间通过高速、低延迟的芯片到芯片互连技术NVLink-C2C连在一起。
由两个CPU芯片组成,采用最新Armv9架构,拥有144个CPU核心和1TB/s的内存带宽,有望将于2023年上半年供货。
2、为定制芯片集成开放NVLink
采用先进封装技术,与英伟达芯片上的PCIeGen 5相比,能源效率高25倍,面积效率高90倍。可实现每秒900GB乃至更高的一致互联带宽。英伟达还将支持通用小芯片互连传输通道UCIe标准。
该技术将支持定制裸片与英伟达GPU、CPU、DPU、NIC和SoC之间实现一致的互连,从而通过小芯片构建出新型的集成产品,助力数据中心打造新一代的系统级集成。
除NVLink-C2C之外,NVIDIA还将支持本月早些时候发布的通用小芯片互连传输通道UCIe标准。
二 软件方面
如今英伟达已经能提供全栈AI,除了AI计算硬件外,其AI软件也有不少进展。
1、英伟达发布了60多个针对CUDA-X的一系列库、工具和技术的更新,以加速量子计算和6G研究、网络安全、基因组学、药物研发等领域的研究进展。
2、Riva 2.0
对话式AI服务Riva全面发行,2.0版本支持识别7种语言,可将神经文本转换为不同性别发声的语音。
3、面向推荐系统的AI框架Merlin 1.0
可帮助企业快速构建、部署和扩展先进的AI推荐系统。
4、Sionna
一款用于6G通信研究的AI框架。
三 专用服务器及超级集群
黄仁勋认为,第一波AI学习是感知和推理,下一波AI的发展方向是机器人,也就是使用AI规划行动。英伟达Omniverse平台也正成为制造机器人软件时必不可少的工具。
1、OVX与OVX SuperPod
黄仁勋认为,工业数字孪生需要一种专门构建的新型计算机,因此英伟达打造了面向工业数字孪生的OVX服务器和OVX SuperPOD超级集群。
OVX是首款Omniverse计算系统,由8个英伟达A40 RTX GPU、3个ConnectX-6200Gbps网卡(NIC)和2个英特尔至强Ice Lake CPU组成。
32台OVX服务器可构成OVX SuperPOD超级集群,实现这一连接的关键设施是英伟达今日新推出的Spectrum-4以太网平台。
2、Spectrum-4
全球首个400Gbps端到端网络平台,交换吞吐量比前几代产品高出4倍,达到51.2Tbps,支持128个400GbE端口。该平台由英伟达Spectrum-4交换机系列、ConnectX-7智能网卡、BlueField-3 DPU和DOCA数据中心基础设施软件组成,可提高AI应用、数字孪生和云基础架构的性能和可扩展性,大幅加速大规模云原生应用。
现在各大计算机制造商纷纷推出OVX服务器,对于想在OVX试用Omniverse的客户,英伟达在全球多地提供LaunchPad计划,第一代OVX正由英伟达和早期客户运行,第二代OVX正被构建中。Spectrum-4的样机将在今年第四季度末发布。
3、Omniverse Cloud
在此基础上,英伟达宣布将推出Omniverse Cloud。通过OmniverseCloud连接,协作者们使用英伟达RTX PC、笔记本电脑和工作站,均可实现远程实时协同工作。
用户如果没有RTX计算机,只需点击一下,即可从GeForce Now上启动Omniverse。支持协作者们随时随地实现远程实时协同工作。
四 从云到端的设备及技术支撑
Omniverse平台是整个工作流程的核心,DRIVE平台则相当于AI司机。
黄仁勋认为下一波AI浪潮是机器人,英伟达正在构建多个机器人平台,包括用于自动驾驶汽车的DRIVE、用于操纵和控制系统的Isaac、用于自主式基础架构的Metropolis、用于医疗设备的Holoscan等。
他将机器人系统的工作流程简化为真值数据生成、AI模型训练、Omniverse数字孪生、机器人技术栈四大支柱。
1、 DRIVE Hyperion 9
黄仁勋宣布下一代DRIVEHyperion 9将从2026年起搭载到汽车中,作为汽车参考设计,其拥有14个摄像头、9个雷达、3个激光雷达和20个超声传感器,总体传感器数量是上一代的两倍。
2、DRIVE Map
多模态地图引擎,包含摄像头、激光雷达和雷达的数据,同时兼顾安全性。
DRIVE Map有两个地图引擎,真值测绘地图引擎和众包车队地图引擎。
3、Clara Holoscan MGX
是一个开放可扩展的机器人平台,其设计符合IEC-62304医疗级规格,核心计算机为Jetson AGX Orin和ConnectX-7智能网卡,并可选配NVIDIA RTX A6000 GPU。可供医疗设备行业在边缘开发和部署实时AI应用的计算平台,AI算力可达每秒254~610万亿次运算。
4、Isaac for AMR
四大核心:用于真值生成的NVIDIA DeepMap、用于训练模型的NVIDIA AI、搭载Orin的AMR机器人参考设计、Isaac机器人技术堆栈中的新Gem及基于Omniverse的新版IsaacSim,每个都单独可用且完全开放。提供自主移动机器人系统参考设计。
5、Jetson AGX Orin开发者套件
在边缘实现服务器级的AI性能。
NVIDIA® Jetson AGX Orin™ 模组可实现高达 275 TOPS 的 AI 性能,可设定功耗在 15W 到 60W 之间。此模组的外形规格与 Jetson AGX Xavier™ 相同,其性能在机器人和其他自主机器用例中可高达后者的 8 倍以上。
Jetson Orin产品级解决方案推荐
NVIDIA 作为被公认的 AI 领域的领导者,一直以来都将自身的专长发挥到极致,利用强大的生态系统和完整的端到端的解决方案推动机器人技术的发展。全新的 Jetson 平台增强了 NVIDIA Ampere 架构的性能和多功能性,助力农业、制造业、医疗和智慧城市等多个领域的自主移动机器人取得更大的进步。
伴随NVIDIA 新品上市了,作为NVIDIA Jetson Elite Partner瑞泰新时代(北京)科技有限公司同步推出了可适配Orin的工业级载板新款"RTSO-1002"。
RTSO-1002是针对AGX Xavier /AGX Xavier industry/AGX Orin的工业级载板,工作温度-20℃—+85℃,低功耗,安全级别高,可满足各种苛刻条件。能满足适应环境差异因机器人技术和嵌入式计算对制造业、医疗、零售业、交通、智慧城市等重要行业的改变而激增的处理需求。
Orin和RTSO-1002相结合的产品级解决方案,可以使开发者们摆脱硬件平台搭建的风险,从而专注于应用层面的开发,快速推出面向特定应用市场的整体解决方案。
X102为一款基于NVIDIA Jetson AGX Xavier /AGX Xavier industry/AGX Orin模块设计的新型飞云智盒™,预装Ubuntu 18.04操作系统,采用超级强固轻型铝合金材料设计,具有有风扇和结构传导型散热两个版本,具备优秀的散热能力,预留有便于现场安装的侧翼结构,具备现场7x24小时超长MTBF稳定运行能力。
另一款适合特殊功能车、机器人等多场景部署基于Jetson Orin的飞云智盒Z201预计在今年推出。
飞云智盒Z201效果展示
联系人:Realtimes
服务热线: 400-100-8358
邮箱:info@realtimes.cn
地址: 北京市朝阳区和平西街和平西苑20号B座11层