跳到主要内容

指令样本仅 3000 对,未标注手册约 200 亿 token。何种情形下领域续预训练才划算?何种情形下这只是烧算力的遗忘?

模型选型与微调中级成本

题目​

指令样本仅 3000 对,未标注手册约 200 亿 token。何种情形下领域续预训练才划算?何种情形下这只是烧算力的遗忘?

参考答案​