NVIDIA:GPU磨炼AI大模子可飞腾96%老本
作者:娱乐 来源:焦点 浏览: 【大 中 小】 发布时间:2025-03-04 03:23:36 评论数:
克日新闻 ,磨模在适才召开的炼A老本2023年台北电脑展上,NVIDIA首席实施官黄仁勋妨碍了演讲。飞腾
在演讲中,磨模黄仁勋向传统的炼A老本CPU效率器集群建议“挑战” ,以为在家养智能以及减速合计这一未来倾向上 ,飞腾GPU效率器有着加倍强盛的磨模优势 。
凭证黄仁勋在演讲上揭示的炼A老本典型 ,磨炼一个LLM狂语言模子,飞腾将需要960个CPU组成的磨模效率器集群,这将破费约莫1000万美元(约合国夷易近币7070万元) ,炼A老本并破费11千兆瓦时的飞腾电力 。
比照之下,磨模同样以1000万美元的炼A老本老本去组建GPU效率器集群 ,将以仅3.2千兆瓦时的飞腾电力破费 ,磨炼44个LLM大模子 。
假如同样破费11千兆瓦时的电量,那末GPU效率器集群可能实现150倍的减速 ,磨炼150个LLM大模子 ,且占地面积更小。
而当用户仅仅想磨炼一个LLM大模子时,则惟独要一个40万美元摆布,破费0.13千兆瓦时电力的GPU效率器即可。
换言之