产品是提示裹一层的托管大模型,你接手的却是特征仓库加按周重训那套 MLOps。哪些子系统仍然值得留,还缺哪些控制面?
题目
产品是提示裹一层的托管大模型,你接手的却是特征仓库加按周重训那套 MLOps。哪些子系统仍然值得留,还缺哪些控制面?
参考答案
点击展开参考答案
- 还能干活的是:环境与配置的 CI、服务鉴权与限流、模型/工件注册表的「版本+回滚」习惯、以及业务指标监控。
- 几乎帮不上忙的是特征仓库、每周重训、以及把离线 accuracy 当唯一门禁——权重不在你这边训,输入是提示+检索+工具,输出非确定。
- 缺的控制面是:提示/检索/工具 schema 的版本,token 级成本,基于轨迹的评估(不是单点标签),安全护栏,以及供应商模型静默变版本时的回归。
- 传统 MLOps 假设「数据→特征→训练→checkpoint→服务」,漂移靠重训修正。
- LLM 应用假设「冻结或外购的生成模型 + 运行时装配」,漂移更多来自提示改写、知识库更新、解码参数、供应商切权重。