跳到主要内容

TTFT 一夜之间回到冷启动水平。客服机器人把每次都变的 request_id 以及实时时钟写进了系统提示最前面时,怎样还原缓存键是怎么拼的,并重排提示?

Agent 性能优化中级RAG

题目​

TTFT 一夜之间回到冷启动水平。客服机器人把每次都变的 request_id 以及实时时钟写进了系统提示最前面时,怎样还原缓存键是怎么拼的,并重排提示?

参考答案​