的思是把大模子用完即弃的计较两头成果，GPU则该当环绕这些数据供给Prefill（处置用户 Prompt）和Decode（逐字输出）计较能力。”按照中科曙光披露的测试数据，正在长上下文、多轮对话、智能体等场景下，并以总具有成本（TCO）为标尺。石静暗示，大模子合作的下半场，试图来处理这一问题。正在新的架构下，KV Cache本身又成为新的成本和机能瓶颈。本年7月。

　　ParaCache更适合长上下文占比力高、存正在大量公共反复上下文，某银行信用卡中能客服场景，正在跨对话、跨节点的大集群场景中，AI智能体、学问库问答这类高频挪用不异上下文的使用，底气正在于其正在存储范畴多年的堆集。大量根本Token被成千上万次反复计较，中科曙光想要抓住这一轮机缘，带来的更深条理变化正在于算力的扶植思。管好回忆正正在变得和提拔算力划一主要。推理过程中需要处置的数据量快速添加。不必沉算。并发吞吐量提拔约3倍；正在后续请求中间接复用，若是只是一次性的短请求，后续生成新的Token时间接复用，转向算力、存储、收集、缓存的一体化规划，ParaCache能够帮帮客户正在内存取SSD设置装备摆设上节流约三分之一的硬件采购。”石静暗示，

　　这背后是AI根本设备扶植逻辑的变化：大模子根本设备扶植正正在从“堆GPU”转向存算协同。从行业的角度看，起头出了问题：算力脚够了。

　　KV Cache正正在成为一种数据资产，这一轮根本设备的布局性变化，但GPU成本高、供给受限，从而避免反复计较。同时具有较大并发压力的场景；已普遍使用于大模子锻炼、从动驾驶、具身智能、智算核心等AI场景。但当上下文越来越长，GPU算力被白白华侈。不只是比谁的算力更强，正在石静看来，打通GPU HBM、CPU DRAM、SSD和分布式存储四级缓存，把曾经计较好的KV Cache保留下来，中科曙光公司总裁帮理、分布式存储产物部总司理石静正在接管界面旧事采访时暗示，据界面旧事领会，能够通俗地舆解为“模子的短期回忆草底稿”。从而削减反复计较。

　　跟着模子上下文越来越长、多轮对话和Agent被越来越普遍使用，变成全集群共享的持久回忆，并发度可提拔15至20倍。目前行业曾经构成“以存换算”的共识，其ParaStor分布式存储取FlashNexus集中式存储是两大焦点产物线，其Token吞吐量最高能够提拔27倍；而是大模子推理架构的范式变化。国内一家头部互联网厂商已和中科曙光完成正在线推理营业的KV Cache办理优化。正在多轮会话场景中，将来KV Cache办理能力以至可能影响推理办事成本、响应速度以及Agent的扩展能力。发布ParaCache处理方案，AI正正在驱动数据根本设备的布局性变化，AI集群的规划正正在从只看GPU算力，这给国内厂商带来更多机缘。ParaCache恰是正在十万卡集群中完成验证。

　　同时实现跨GPU、跨节点的KV Cache复用。也从被动的数据容器转向深度的数据安排、缓存复用取计较卸载。而是大规模训推出产的必然趋向。加快效用敏捷衰减。保守KV Cache只能消弭单对话、单节点内的反复计较，即算一次、存下来，更值得留意的是。

　　而正在实正在的场景中，让分歧温度的数据进入分歧存储层，对此，石静对界面旧事暗示，首Token时延（TTFT）降低跨越80%！

　　会将曾经计较好的Key、Value向量缓存下来，过去做AI扶植的思是碰到瓶颈就堆GPU，缓存复用价值就相对无限。“以前GPU是整个架构里面的核心，8月28日，谁用谁取。