标记为「LMCache」的所有文章
共找到 1 篇文章
在推理引擎内部，KV Cache 有明确的物理归属：它位于某个设备，由具体的 tensor、block table 和计算 stream 管理。这些信息只在当前进程和当前实例中成立。LMCache 希望把 KV 留到请求结束之后，供其他请求或其他实例复用。原来的物理坐标随进程边界失效，缓存必须重新获得一套稳定的身份和生命周期。