又粗又大的鸡巴天天❌

HBM价格暴涨：华为开源关{键}技术！|华为|美元|推理_新浪科技_新浪网

如何更新黄油游戏 - 互动社区畅快交流，独家视频抢先观看，权威资讯即时推送

快科技11月6日消息，在AI算力需求爆发的背景下，高性能内存HBM的价格正持续飙升，SK海力士确认，明年向NVIDIA供应的HBM4单价约为560美元。这一价格不仅高于此前业内预期的约500美元，而且比目前供应HBM3E的约370美元价格高出50%以上。面对高端HBM价格的暴涨，以及中国企业遭受的出口管制，华为刚开源的技术或许可以减轻对这种产品的依赖。日前华为宣布了一项针对AI推理加速的关键技术UCM推理记忆数据管理，并正式将其开源。UCM的关键创新在于，它可以根据数据的“记忆热度”，在不同的存储介质中进行分级缓存，比如HBM存储“实时记忆数据”，DRAM中存储“短期记忆数据”，而SSD则存储“长期记忆数据与外部知识”。其核心优势在于分级管理推理过程中产生的KV Cache记忆数据，充分利用不同存储介质的特性，从而提高HBM的利用率并平衡整体成本。而开源的关键意义，在于能让更多开发者和企业通过记忆数据分级管理，降低对高端HBM的依赖。华为透露，基于UCM，可实现首Token时延最高降低90%，系统吞吐最大提升22倍，并达到10倍级上下文窗口扩展。当然，UCM不是为了取代，也无法取代HBM，而更像是一种“系统补短板”，把HBM的优势发挥在更合适的地方，实现降本增效。【本文结束】如需转载请务必注明出处：快科技责任编辑：黑白 (function(){ var adScript = document.createElement('script'); adScript.src = '//d1.sina.com.cn/litong/zhitou/sinaads/demo/wenjing8/js/yl_left_hzh_20171020.js'; document.getElementsByTagName('head')[0].appendChild(adScript); })();

如何更新黄油游戏 - 互动社区畅快交流，独家视频抢先观看，权威资讯即时推送

分享让更多人看到