标记为「Agent」的所有文章
共找到 1 篇文章
Agent 的上下文不必从头到尾保持不变。常规 Prompt Cache 真正要求稳定的，是某个可用缓存断点之前的精确前缀。新消息、工具结果或子 Agent 输出如果只追加在末尾，原有前缀通常仍能复用；若内容被插入、删除、改写或重排，应先找到新旧请求的首个差异 token。这个位置之后的旧 KV 状态，在标准因果 Transformer 中通常不能直接沿用。缓存损失因而主要由“改动发生得多早”决定，而不是由“总共改了多少字”决定。