详情

（原标题：华为发布AI推理“黑科技” 助力处治AI推理成果与用户体验繁重）

8月12日下昼，华为厚爱发布AI推理“黑科技”UCM（推理记念数据不断器），助力处治AI推理成果与用户体验的繁重。

着手：中国基金报记者拍摄

AI推理是AI产业鄙人一阶段的发展重点。AI产业已从“追求模子智商极限”转向“追求推理体验最优化”，推理体验平直关联用户风物度、生意可行性等中枢需求，成为揣度AI模子价值的黄金标尺。

据悉，华为臆度打算在9月开源UCM。届时，华为将在魔擎社区首发，后续缓缓孝敬给业界主流推理引擎社区，并分享给所有这个词Share Everything（分享架构）的存储厂商和生态伙伴。

UCM将进步推理系统成果和性能

UCM是一款以KV Cache（键值缓存）为中心的推理加快套件，会通多类型缓存加快算法器用，不错分级不断推理历程中产生的KV Cache记念数据，扩大推理高下文窗口，以已毕高费解、低时延的推理体验，从而镌汰每个Token（词元）的推理资本。

着手：中国基金报记者拍摄

KV Cache是一种用于优化谋划成果、减少重迭运算的要道时间，可是需要占用GPU（图形处理器）的显存存储历史KV（键值）向量，生成的文本越长，缓存的数据量越大。

跟着AI产业的发展迈入代理式东谈主工智能时间，模子规模化推广、长序列需求激增，以及推理任务并发量增长，导致AI推理的KV Cache容量增长，超出了显存的承载智商。

现在，外洋发轫芯片厂商通过从硬件迭代到软件优化，再到生态绑定，构建起AI推理时间的“铁三角”，短期内难以被代替。中国企业在单点硬件时间上有所冲破，但国产软件及生态适配仍有较大差距。

跟着信息时间应用转变产业的国产化改换提速，各行业缓缓坚硬到需要加快构开国产推理生态。UCM的中枢价值在于提供更快的推理反馈、更长的推理序列等。

以提供更长的推理序列为例，UCM通过动态KV逐层卸载、位置编码扩展等组合时间，将超长序列的Cache（缓存）分层卸载至外置专科存储，把握算法冲破模子和资源甘休，已毕10倍级推理高下文窗口扩展。

UCM提供更低推理资本

华为联手中国银联落地三大场景

据悉，UCM可把柄记念热度在HBM、DRAM、SSD等存储介质中已毕按需流动，同期会通多种稀薄耀眼力算法已毕有算深度协同，使长序列场景下TPS（每秒处理token数）进步2至22倍，从而镌汰每个Token的推理资本。

Token是AI模子中的基本数据单元。在推行历程中，AI大模子会学习记号Token之间的关系，从而奉行推理并生成准确、持续的输出。

数据显露，外洋主流AI大模子的单用户输出速率已进入200 Tokens/s区间（时延5ms），而我国主流AI大模子的单用户输出速率多量小于60 Tokens/s（时延50至100ms）。

同期，跟着AI应用向各类骨子场景深度渗入，用户规模和苦求量急剧攀升，模子分析和生成的Token数呈现指数级增长态势。

宏大的Token处理量意味着腾贵的运营资本，包括作事器赞佩、电力破费握续攀升等，而保险知道推理体验需要加大算力干涉。

最大化的单Token智能承载力和优化资本，成为稠密厂商的核神思划，而况Token经济时间驾临，推行、推理成果与体验量纲齐以Token为表征。

现在，华为AI推理加快决议汇集UCM与华为AI存储（OceanStor A系列）时间，与中国银联开展灵敏金融AI推理加快应用试点，三大落地业务场景辞别是客户之声、营销经营、办公助手。

着手：中国基金报记者拍摄

以办公助手场景为例，通过应用华为AI推理加快决议，可赞助用户输入逾越17万Tokens的超长序列推理，幸免超长序列模子推不动的问题。