CSV 共一千行,清洗后要落库。风险该怎么衡量:让它生成 Python 脚本,还是把现成变换工具串起来?
题目
CSV 共一千行,清洗后要落库。风险该怎么衡量:让它生成 Python 脚本,还是把现成变换工具串起来?
参考答案
点击展开参考答案
- 看规则是否稳定,以及失败时你能否原样重放。
- 去空、类型转换、按主键去重这类稳定规则,应链式调用带 schema 的变换工具:参数可校验、权限可收窄、每步可审计。
- 规则是一次性探查、现成工具表达不了、或必须看脏数据分布时,才让代码生成路径在沙箱里写脚本。
- 生产上常见的是混合:探查用代码,落地用工具。
- 工具路径里模型只填
dedupe(keys=["id"])、cast(col="amount", type="decimal"),执行层做允许列表和行数上限,失败回结构化错误。 - 代码路径是:生成脚本 → 静态扫描 → 沙箱执行 → 收集退出码和抽样输出 → 测试或人工门禁通过后才对准正式库。