搜索引擎 + AI 驱动的行业新闻【覆盖行业】信保 ｜出口 ｜金融 制造 ｜农业 ｜建筑 ｜地产 零售 ｜物流 ｜数智【访问入口】hangyexinwen.com【新闻分享】点击发布时间即可分享【联系我们】xinbaoren.com（微信内打开提交表单）https://jinrong.hangyexinwen.comhttps://jinrong.hangyexinwen.com/posts/11606https://jinrong.hangyexinwen.com/posts/11606Tue, 19 May 2026 12:17:51 GMT⁣<br /><b><i><b>📰</b></i> 工商银行×华为：金融行业首个分布式KV Cache多级缓存推理加速技术正式落地_中华网</b><br /><br />工商银行与华为联合创新，成功落地基于昇腾硬件与 openYuanrong 的分布式KV Cache多级缓存推理加速方案，覆盖HBM、DRAM的异构统一内存资源池，并对数据传输路径进行硬件亲和优化，实现高效数据调度与缓存管理。在GLM-5等模型的实测中，该方案在长序列推理场景下实现Prefill提升70%以上、吞吐提升约40%，显著降低TTFT并提升用户体验，支撑银行规模化应用。随着 Agentic 应用在金融场景落地，长上下文理解与多步推理的低时延需求日益突出，推理系统需实现百万级Token处理与实时交互的协同优化。工行以工银智涌为核心企业级大模型体系，将大模型应用扩展至手机银行、智能客服、理财咨询、风险控制等500+场景，并在 GLM、DeepSeek 等 MoE 模型中逐步推广，针对多轮对话中的KV缓存显存压力，提出异构内存管理与多级缓存方案，有效缓解负载不均与时延波动。未来将继续深化技术，推动在更多金融场景的广泛落地与规模化应用。<br /><br /><i><b>🏷️</b></i> <a href="/search/%23%E5%88%86%E5%B8%83%E5%BC%8F%E7%BC%93%E5%AD%98">#分布式缓存</a> <a href="/search/%23%E5%BC%82%E6%9E%84%E5%86%85%E5%AD%98">#异构内存</a> <a href="/search/%23%E9%95%BF%E5%BA%8F%E5%88%97%E6%8E%A8%E7%90%86">#长序列推理</a> <a href="/search/%23%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%87%91%E8%9E%8D">#大模型金融</a> <a href="/search/%23%E4%BD%8E%E6%97%B6%E5%BB%B6">#低时延</a><br /><br /><i><b>🔗</b></i> <a href="https://m.tech.china.com/redian/2026/0519/052026_1872841.html" target="_blank">原文链接</a>