跳到主要内容

逻辑序列被 PagedAttention 映到不连续的物理块上之后,是不是所有形式的 KV 浪费都没了?

Agent 性能优化中级性能优化

题目​

逻辑序列被 PagedAttention 映到不连续的物理块上之后,是不是所有形式的 KV 浪费都没了?

参考答案​