英伟达“最强AI芯片”炸裂全场!业内惊呼:新的摩尔定律诞生
2024-05-27 【 字体:大 中 小 】
专题:GTC重磅开幕,英伟达发布最强AI芯片
来源:硬AI
“最强AI芯片” Blackwell B200 GPU的高调发布,已不单单是稳固英伟达在芯片领域的王者地位,更是让业内人士高呼:新的摩尔定律诞生!
在隔夜的2024 GTC大会上,黄仁勋介绍了运行AI模型的新一代芯片和软件。他表示,新一代的B200 GPU拥有2080亿个晶体管,可以提供高达20 petaflops的FP4性能。相比之下,H100仅为4 petaflops。
在GTC直播中,黄仁勋左手举着 B200 GPU,右手举着 H100
此外,将两个B200 GPU与单个Grace CPU 结合在一起的 GB200,可以为LLM推理工作负载提供30倍的性能,并且显著提高效率。
黄仁勋还强调称:“与H100相比,GB200的成本和能耗降低了25倍!
关于市场近期颇为关注的能源消耗问题,B200 GPU也交出了最新的答卷。
黄仁勋表示,此前训练一个1.8 万亿参数模型,需要8000 个 Hopper GPU 并消耗15 MW电力。但如今,2000 个 Blackwell GPU就可以实现这一目标,耗电量仅为4MW。
在拥有1750亿参数的GPT-3大模型基准测试中,GB200的性能是H100的7倍,训练速度是H100的4倍。
值得一提的是,B200 GPU的重要进步之一,是采用了第二代Transformer引擎。
它通过对每个神经元使用4位(20 petaflops FP4)而不是8位,直接将计算能力、带宽和模型参数规模翻了一倍。
而只有当这些大量的GPU连接在一起时,第二个重要区别才会显现,那就是新一代NVLink交换机可以让576个GPU相互通信,双向带宽高达1.8TB/秒。
而这就需要英伟达构建一个全新的网络交换芯片,其中包括500亿个晶体管和一些自己的板载计算:拥有3.6 teraflops FP8处理能力。
在此之前,仅16个GPU组成的集群,就会耗费60%的时间用于相互通信,只有40%的时间能用于实际计算。
一石激起千层浪,“最强AI芯片”的推出让网友纷纷赞叹。
其中英伟达高级科学家Jim Fan直呼:Blackwell新王诞生,新的摩尔定律已经应运而生。
DGX Grace-Blackwell GB200:单个机架的计算能力超过1 Exaflop。
黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。
GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。
还有网友感叹:1000倍成就达成!
Blackwell标志着在短短8年内,Nvidia AI 芯片的计算能力实现了提升1000倍的历史性成就。
2016 年,“Pascal”芯片的计算能力仅为19 teraflops,而今天Blackwell的计算能力已经达到了 20000 teraflops。
本文来自微信公众号“硬AI”,关注更多AI前沿资讯请移步这里
]article_adlist-->市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
股市回暖,抄底炒股先开户!智能定投、条件单、个股雷达……送给你>>
海量资讯、精准解读,尽在新浪财经APP
责任编辑:于健 SF069
猜你喜欢
中国化学(601117SH):国化公司增持150万股A股股份
图解 受到网络攻击影响,美国6月轻型车新车销量环比下滑4%
路线渐明 远虑亦存 人形机器人风口一线观察
德国工业界加强人工智能开发
11月24日市场消息早报(周五)
巴基斯坦与伊朗两国外长会晤
辰安科技董秘回复:不同公司有其经营实际,公司已披露2023年度业绩预告,正在抓紧推动年报编制工作
商务部:2024年春节消费市场年味浓活力足人气旺
思泉新材3月18日龙虎榜数据
垒知集团(002398)股东蔡永太质押4750万股,占总股本666%
王导:黄金日线大级别趋势,回撤2405多
赛力斯起火点燃蔚来,客服:盖黑布是救援过程。
中国科学院若尔盖湿地生态研究站全面投入使用
津巴布韦总统抵达深圳访华背后:多国政要在这里感受开放精神
当致癌的水果患上“植物癌症”
乐歌股份(300729SZ):海外仓货物主要通过电动叉车、AGV小车搬运作业
北森控股(09669HK)9月5日耗资66万港元回购1814万股
兴银鼎新灵活配置混合基金经理变动:增聘王深,林学晨为基金经理
中国最知名的20座古镇
用友网络新注册《用友医疗财务会计云系统V30》项目的软件著作权