跳到主要内容

若逐步生成时每一步都把完整提示重新算一遍,该缓存哪些张量、形状是什么?修好之后注意力计算量大约能少几倍?

模型选型与微调中级模型选型与微

题目​

若逐步生成时每一步都把完整提示重新算一遍,该缓存哪些张量、形状是什么?修好之后注意力计算量大约能少几倍?

参考答案​