跳到主要内容

如果让你优化一个长上下文(128K)Transformer 的推理性能,你会从哪些方面入手?

模型选型与微调中级上下文规划

题目​

如果让你优化一个长上下文(128K)Transformer 的推理性能,你会从哪些方面入手?

参考答案​