跳到主要内容

RoPE 外推到更长上下文时为什么会退化?位置插值、NTK Scaling 和 YaRN 如何理解?(高级)

模型选型与微调高级上下文

题目​

RoPE 外推到更长上下文时为什么会退化?位置插值、NTK Scaling 和 YaRN 如何理解?(高级)

参考答案​