Transformer 架构的核心原理是什么?Agent 工程师需要理解到什么程度?
题目
Transformer 架构的核心原理是什么?Agent 工程师需要理解到什么程度?
参考答案
点击展开参考答案
- Transformer 由 Token/位置表示、多头自注意力、前馈网络、残差与归一化堆叠组成;Decoder 使用 causal mask 逐 Token 生成。
- 注意力让每个位置按 Query–Key 权重聚合 Value,适合并行训练和长距离关系,但标准注意力随序列长度约为 $O(n^2)$。
- Agent 工程重点不是推导全部公式,而是理解上下文窗口、tokenization、prefill/decode、KV Cache、位置效应、长上下文成本和自回归不确定性。
- 这些直接影响 Prompt 布局、缓存、流式、Token 预算和 Lost-in-the-Middle。
- 模型仍不是数据库或执行器,事实与副作用必须由外部系统验证。