当前位置：首页 > 游戏分享 > 正文

华为发布AI推理创新技术UCM

品玩8月13日讯，据科创板日报报道，华为近日发布AI推理创新技术UCM，

作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。

据悉，华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。

华为
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 3561739510@qq.com 举报，一经查实，本站将立刻删除。！
本文链接：https://www.uzhan365.com/article-13483-1.html

上一篇
阿里AI TO C 业务启动近千人招聘 加速多模态模型和前沿AI应用布局

下一篇
解锁未来！小牛电动接入Apple 钱包 App 两轮电动车钥匙功能

相关文章

最新文章