模型选型与微调 · 题目列表
LoRA 微调比全量微调更慢吗?
模型选型与微调
全参数 vs 参数高效微调怎么选?
模型选型与微调
LoRA 低秩分解 vs 全量微调怎么选?
模型选型与微调
大模型微调方法怎么选?
模型选型与微调
BERT+CRF 怎么联合训练?
模型选型与微调
Decoder-only 架构为何是主流?
模型选型与微调
GPT vs BERT 核心区别在哪?
模型选型与微调
MLA 与 KV Cache 怎么用?
模型选型与微调
多头注意力原理与QKV拆分陷阱
模型选型与微调
位置编码为什么重要?
模型选型与微调
LLaMA为何选RMSNorm?
模型选型与微调
DDPM 为什么随机采样时间步?
模型选型与微调
RMSNorm vs LayerNorm:训练效率怎么比?
模型选型与微调
CNN/RNN/Transformer 怎么选?
模型选型与微调
逻辑回归原理怎么理解?
模型选型与微调
参数规模怎么影响大模型?
模型选型与微调
Encoder vs Decoder 功能区别?
模型选型与微调
MoE 怎么提升 Agent 能力?
模型选型与微调
VQ-VAE 原理与完整结构
模型选型与微调
RMSNorm vs LayerNorm:数值稳定性怎么比?
模型选型与微调
VQ-VAE 码本塌缩治理
模型选型与微调
自回归生成用 token id 还是概率分布?
模型选型与微调
Self-Attention 怎么计算 QKV?
模型选型与微调
Transformer 架构核心组件原理
模型选型与微调
KL散度本质与非对称性怎么用?
模型选型与微调
Flow Matching 原理是什么?
模型选型与微调
DDPM vs Flow Matching: 采样效率与优缺点?
模型选型与微调
PyTorch 动态图怎么自动微分?
模型选型与微调
Focal Loss 公式与作用机制
模型选型与微调
训练曲线异常怎么排查?
模型选型与微调
SFT vs 预训练:核心区别在哪?
模型选型与微调
MSE vs 交叉熵损失怎么选?
模型选型与微调
模型收敛怎么判断?
模型选型与微调
SFT 后置信度下降原因
模型选型与微调
重参数化技巧怎么解决梯度问题?
模型选型与微调
正确答案的 logit 若只比第二名高 0.1,梯度主要打在哪些位置?若一个 batch 的平均交叉熵是 2.3 nats,对应的 token 级困惑度大约多少?
模型选型与微调
在算力锁死的前提下,把 N 乘四却不给更多 token,验证损失经常变差。参数与数据该按什么经验一起涨?线上请求量非常大时,这条配比还适用吗?
模型选型与微调
两周预训练:单卡装得下 7B、装不下 70B。数据并行与模型并行分别在什么时机采用?每一步同步的对象有何差异?
模型选型与微调
显存被 Adam 的 m 与 v 顶满,这是在 70B 微调里发生的。FSDP 与 ZeRO-3 分别如何切开权重、梯度和优化器状态?何时该用这种全分片,而不是改成按层切的流水线?
模型选型与微调
训 70B 时切成八段流水线,空泡大约占掉单步时间的四成。该把微批加上去、换成 1F1B 调度,还是承认阶段切得过细?
模型选型与微调
指令样本仅 3000 对,未标注手册约 200 亿 token。何种情形下领域续预训练才划算?何种情形下这只是烧算力的遗忘?
模型选型与微调
去年的拒答策略和整体文风要保住,同时每月新法规还得会用。回放、检索、参数正则、LoRA 隔离,你会按怎样的次序尝试?
模型选型与微调
三张工单一起砸到刚发布的客服基座上:昨天刚换的价目表、填不齐模板字段的回复、被写成大白话的内部缩写。真正需要更新权重的是哪几张?
模型选型与微调
SFT 预算锁死在 8 万条:把覆盖铺成 400 种任务,或只保留 50 种并把每种堆到 1600,你怎么选?同一任务要准备几种问法?思维链与拒答应各占多少?又如何证明对持出的指令类型并非死记清单?
模型选型与微调
多训几个 epoch 时,最先崩掉的通常是哪类行为?监督微调单步里若用户问题的 token 也进交叉熵,会养成什么坏习惯?学习率为何常低于预训练峰值?
模型选型与微调
更大模型把 200 对金标扩到 1 万条,随后做监督微调。教师幻觉会在学生的哪些环节被放大?必须留下哪几类过滤器?
模型选型与微调
SFT 语料来自线上客服,一共八千段会话。哪些轮次配进训练集?哪些轮次一旦写入会把模型带坏?
模型选型与微调
整包各存一份,或冻结骨干只训很小参数集,用来给同一 7B 挂上 12 种部门口吻。磁盘占用、回滚方式、部门之间会不会互扰,这三项各换来什么?
模型选型与微调
线上只许一份基座、禁止热合并,每个租户还要自己的口吻。用虚拟 token 当可训练前缀,对比给注意力投影加低秩增量,各自动的是前向通路哪一段?硬 JSON 约束下谁会先饱和?
模型选型与微调
同一 LoRA 跑出交叉熵尖峰、领域升通用降、训练满分但验证不动三种曲线。每种先碰哪一颗超参?为什么不能一次同时改三颗?
模型选型与微调
评审误把「线性层旁边再挂小稠密块」叫做 LoRA。合并进原权重后,为何解码计算图仍与基座相同?真正多出来的是哪两个矩阵,谁必须保持冻结?
模型选型与微调
瓶颈插入子层、骨干冻结、下线只卸模块,而且必须能热插拔。解码时每个插入点多做哪些矩阵乘?为何这类残差瓶颈不能像 LoRA 那样折进 W?
模型选型与微调
7B 全量微调走 bf16 与 Adam,80GB 单卡在 Adam 状态刚建完、第一步尚未开始就 OOM。把每参数占用的字节摊开记账,LoRA 与 QLoRA 各从显存账上划掉哪几行?
模型选型与微调
7B 全参 bf16 微调,序列 4k、微批 2,激活把一张 80GB 卡打满;优化器状态已经用 FSDP 切开。打开激活重计算:用多少额外前向换多少激活显存?注意力、FFN、嵌入哪些层值得重算?怎样估吞吐是升是降?
模型选型与微调
采用 QLoRA 时基座以 4-bit 存放,是否就表示前向、反传以及优化器更新全部以 4-bit 完成?
模型选型与微调
输出格式已经稳住、多跳归因几乎没动,这是三千条工单上的 LoRA。升秩、换插入层、改全参数,怎样对照才能分清是 LoRA 容量不够,还是数据教不会推理?
模型选型与微调
改口吻、改工具调用、改地区用语的三套 LoRA 挂在同一基座上。若要合成一份权重,线性相加何时才安全?什么情况下必须按意图路由、不能做加权相加?
模型选型与微调
口吻、字段名、过期制度叠在同一条失败记录里,周五拿来复盘。怎样用一次只动一层的消融,判定该动提示层、检索层还是权重层?
模型选型与微调
思维链轨迹与拒答要不要一起蒸给学生?从 70B 蒸到 8B 时,仅贴合词表上的 logits 为何不够?
模型选型与微调
离线要用 7B 接住 API 教师模型的解题轨迹。只拿最终结论、只拿词表上的概率分布、只拿分步推导当监督,各能迁走哪些能力?动手之前,合约与数据条款必须先禁止哪几类做法?
模型选型与微调
线上抱怨模型错了还更自信,尽管微调后准确率高出 8 个百分点。评测套件当时漏掉了哪几类检查?
模型选型与微调
本院缩写得会用、化验数值绝不能编。医院这份出院小结,该焊进权重的是哪类行为,只放检索的是哪类,必须留给医师把关的又是哪类?
模型选型与微调
问法一换仍反复冒出同一个数字,而且已废止费率表被讲成现行规则。如何判断这是脏监督焊进了权重,而非基座幻觉?先清数据再续训,还是先让这些事实离开参数?
模型选型与微调
评测集里出现了几乎照抄训练集的工单,模型把工单编号连同内部备注一并背出。怎样区分逐字记忆与学到话术骨架?在不停服的前提下,泄漏先从哪一层堵住?
模型选型与微调
新任务交叉熵仍在下降,但安全拒答、小学算术、开放域问答这些通用探针已经失分。这算灾难性遗忘,还是只是一般的过拟合?训练中途优先动哪些设置?
模型选型与微调
一到多步推理和工具失败后的回溯明显落后,尽管短问答上 7B 学生已接近 70B 教师。该补过程轨迹、加验证器,还是改走路由?
模型选型与微调
通用能力下滑且禁止重新训练,领域全参权重已经在磁盘上。分词器换过或文风彻底塌掉时,为何在基座与微调权重之间走直线也救不回来?两者之间怎样做线性插值,又怎样对任务向量做加减?α 该看领域、通用哪两条验证曲线?
模型选型与微调
8 张 A100 上做 SFT,指令对的中位长度大约 180 token,最大长度 2048,一行一条样本时大约 70% 是 pad。把多条 (prompt, response) 拼进同一行时,因果注意力怎样按样本隔开,position id 为何每条从 0 重数,损失掩码盖住哪些 token,不做隔离的拼接会学到什么虚假条件,打包之后 tokens/sec 和 steps/sec 各怎么变,单条已经接近 2048 时又会坏在哪里?
模型选型与微调
7B 要把词表从约 3.2 万扩到约 12.8 万,以降低中文 fertility。d_model=4096。嵌入矩阵和 LM head 继续绑权,能省多少参数和显存?对话模板里的特殊符几乎只出现在输出侧时,绑权会先伤哪类 token?
模型选型与微调
各产品线不再单独训练小模型、改为共享同一套基础模型之后,工程账本上哪些会消失、哪些会新增?
模型选型与微调
病案原文不能出园区、每周还要服务两千万 token,什么条件下应放弃外部闭源 API?
模型选型与微调
长度为 4k 的训练样本可以在一次前向里把整段交叉熵并行算完,但要写出 200 个 token 仍然得按时间步走完 200 步。同一种自回归因式分解,两边的可并行程度为何会完全两样?
模型选型与微调
一段听起来完全像真人坐席的答复却引用了错误政策,这是权重坏了,还是语言模型生成方式本身就会产出这种现象?
模型选型与微调
中英夹杂的同一份代码在 A 模型上大约 800 token、在 B 上大约 1400,怎样向产品说明这并非胡乱计价?
模型选型与微调
一个同时接待中文、日文、英文的客服台:把原始字符串整段交给 SentencePiece,还是先按空白分词再走 WordPiece?举两个会切坏的例子来定夺。
模型选型与微调
随机遮盖 15% 位置来取代 next-token 预训练之后,模型为何更适合当句编码器,却几乎没法做流式对话?
模型选型与微调
同事提议把正在服务的聊天模型骨干从 Transformer 换成 LSTM 以节省显存。你会拿哪些计算论据去回应,循环结构又在哪些场景仍然占优?
模型选型与微调
目标词表大约三万时,BPE 的合并次序为何常把高频英文词收成一两段,却把只出现三次的分子式切得很碎?
模型选型与微调
药名被 tokenizer 拆成六七段、术语一扎堆就占掉半截上下文、分类分数往下掉。已收敛的权重能不能只往词表追加新行,还是先量化平均子词数再选改法?
模型选型与微调
「不可退货」被向量检索排到「可以退货」旁边,根因是相似度公式算错了,还是句向量训练目标从未要求拆开否定?
模型选型与微调
窗口从 2k 撑到 8k 之后,注意力层里一次吃完整段提示的计算量和逐步解码时读 KV 的流量大约各乘几倍?优先收缩提示词,还是优先换注意力写法?
模型选型与微调
日均约 80 万次的中→英条款翻译(源和目标都大约 2k token)外加「8k 源文收成约 200 token 摘要」,什么时候该上 encoder-decoder,而不是继续用现成的 decoder-only?输入输出长度比、交叉注意力、推理成本怎么折?
模型选型与微调
RoPE、GQA、KV cache 与因果 mask,在 decoder-only 推理图里哪些拿掉会算错,哪些只改变快慢?
模型选型与微调
保持 d_model 不变,把 32 个注意力头收成 1 个更宽的头,表达能力与 KV 带宽各自会在何处受损?
模型选型与微调
解码进行到第 t 个位置时,Q、K、V 分别是几行?分数若误用查询与查询的转置相乘,哪些线性层会沦为死权重?
模型选型与微调
怎样用 Q·K 点积的方差,判断 head 宽度拉到 256(原先 64)后 softmax 塌成 one-hot 时该不该除以 √dₖ?
模型选型与微调
70B 稠密模型粗算下来参数大部分落在 MLP。这如何指导你加宽 FFN、堆叠层数,以及是否用 MoE 替换 FFN?
模型选型与微调
某模型的归一化层只做一件事:除以均方根,既不减均值,也没有偏置。与 LayerNorm 相比,前向计算省掉了哪几步?网络很深时,残差流的量级靠什么维持住?
模型选型与微调
翻译到目标侧第 t 步,就 cross-attention 而言,查询读哪边、键值读哪边?源句 K/V 为何只需算一次?若给源序列也套下三角 mask,会破坏什么?
模型选型与微调
怎样用一次 mask 的 A/B 对照,判断低训练损失、前言不搭后语的自回归输出是否因为泄漏了后续 token?
模型选型与微调
若残差变成覆盖更新,32 层深的 Transformer 会先在何处把训练打崩,梯度又如何回传?
模型选型与微调
当 BatchNorm 打在变长 batch 上会随 pad 抖动、按位置归一化却能立刻稳住,均值和方差沿哪一维归约,逐步解码又为何不必维护跑均值?
模型选型与微调
层数逼近一百、采用后归一化时,grad-norm 会在半程失控。换成进入子层前先归一化、残差按原值加回,预热为何能压短?少乘的 Jacobian 是哪一截?
模型选型与微调
学得的绝对位置向量已弃用,只靠因果 mask。两条指令互换后,模型还能否可靠察觉谁先谁后?
模型选型与微调
绝对位置表在 4k 训、16k 推时会越界。给 Q 和 K 乘上位置相关的旋转之后,点积里还剩下什么位置信息,外推到多长会开始不稳?
模型选型与微调
边听边出的 32k 转写跑在端侧,内存几乎不许随 n 线性涨。线性循环层为什么值得认真看,标准自注意力为什么不合适?训练期会丢掉什么?
模型选型与微调
若逐步生成时每一步都把完整提示重新算一遍,该缓存哪些张量、形状是什么?修好之后注意力计算量大约能少几倍?
模型选型与微调
从网关接到会触发工具调用的用户消息,到终答流式出来,不可省略的环节有哪些、最容易把时延打爆的两处等待在哪?
模型选型与微调
组内键值取平均之后,32 路查询的 MHA 检查点能不能立刻按 8 组共用 KV 当 GQA 开服?还要再训多久质量才回来?收到单个 KV 头时哪类任务先掉点,按头做张量并行会卡在哪?
模型选型与微调
开头若干 token 一旦滑出窗口,困惑度就飙升——流式 decode 只缓存最近 4k 的 KV。把这些位置永久钉住,数值稳定性为何能回来?
模型选型与微调
正向激活掉一半、反向变慢且峰值显存回升,发生在打开 FlashAttention 之后。tiled 核在反传里重算哪张矩阵,多短的序列会亏?
模型选型与微调
稠密注意力的算术量会不会因为上了 FlashAttention 就变成随 n 线性增长?
模型选型与微调
decode 一步里,总参 400B、激活约 50B 的稀疏模型为何常常慢于同样激活 50B 的稠密模型?
模型选型与微调
合同长约 20k token,滑动窗口宽度取 4096。第 4 层和第 32 层的理论感受野分别多长,KV 缓存能降到全量的几分之几?
模型选型与微调
decoder-only 要同时吃商品图和「这双鞋是什么底」。patch 拼进同一条自注意力,对比借助 cross-attention 把图侧特征送进去,两者在 KV 开销与定位上差在哪里?
模型选型与微调
8 专家 top-2 的 MoE 训到一半,直方图显示某一个专家吃掉约 60% 的 token,其余接近饿死。辅助负载均衡损失、容量因子、token 丢弃各在干什么?把辅助损失系数拧大、或把容量因子提到 2,各有什么副作用?
模型选型与微调
上下文从 8K 加到 100K 量级时,一套在线 MoE 服务若仍用稠密注意力,先见底的是算力还是 KV 缓存?各层搭配不同压缩方式能缓解哪一头?
模型选型与微调
推理型模型在多步演算上写中间步骤,延迟会高出一个数量级(相对普通指令模型)。哪些任务值得投入测试时计算,思考额度该怎样封顶?
模型选型与微调
函数中段空缺,前后都已写好。逐步把掩码揭开,为何可能比自回归往下写更省事?长度预估一旦偏了,收场办法是什么?
模型选型与微调
128k 的窗口接不住约 2M token 的仓库,题目还是安全审计。为什么不先切块做检索,而让模型写探查代码、按需去读文件?
模型选型与微调
闭集 20 类工单路由,什么情况下该用分类器给固定标签打分,而不是让生成式模型吐类名?校准后的概率如何决定自动处理或交人工?
模型选型与微调
意图分类日调用量约五百万,全部送进 70B 会贵且慢。第一跳小模型该选多大参数量,哪些在线信号出现才把流量交给大模型?
模型选型与微调
隔夜自动循环以公开榜分数为信号,Agent 还能改提示和工具封装。如何确保变好的是能力本身,评测器没有被改写或拿来刷分?
模型选型与微调
7B 稠密 decoder 只用 next-token 损失做预训练。同事要按 Meta Multi-Token Prediction (2024) 的结构,给共享主干加 n 个头,一次预测 t+1 到 t+n。前向和损失怎样组织才仍是教师强制,推理为何还能按标准自回归走,这些头以后怎样给投机解码当草稿,n=2 和 n=4 在信号与干扰上怎么换,以及 n=4 个独立的 d_model→V 头相对「共享一个 LM head、只加小适配器」在 bf16 下多占多少 GiB?
模型选型与微调
Prompt 模板如何管理?
模型选型与微调
如何做模型路由?
模型选型与微调
流式输出在 Agent 中如何实现?
模型选型与微调
模型降级怎么设计?
模型选型与微调
LLM 响应缓存有哪些类型?
模型选型与微调
如何做灰度实验和效果分析?
模型选型与微调
结构化输出不符合 Schema 怎么办?
模型选型与微调
什么是大模型幻觉?为什么会发生,如何降低?
模型选型与微调
什么是 Prompt Engineering?在 Agent 中与 Context/Harness Engineering 有何区别?
模型选型与微调
Embedding 和向量相似度搜索是什么?Embedding 模型如何选择?
模型选型与微调
Transformer 架构的核心原理是什么?Agent 工程师需要理解到什么程度?
模型选型与微调
ChatGPT 的 System、User、Assistant、Tool Role 分别有什么作用?
模型选型与微调
为什么 LLM 推理成本高?如何系统优化 Latency?
模型选型与微调
AI 系统如何记录 Prompt、Response 和执行轨迹,同时保护隐私?
模型选型与微调
RAG Latency 如何优化?
模型选型与微调
什么是 ChatMemory?如何实现可靠的对话历史 Memory?
模型选型与微调
Self-Attention 的计算公式是什么?为什么要除以 √d_k?
模型选型与微调
Multi-Head Attention 为什么要做多头?头数一般怎么选?
模型选型与微调
位置编码有哪些主要方式?为什么 Transformer 需要位置编码?
模型选型与微调
KV Cache 的原理是什么?为什么能加速自回归推理?
模型选型与微调
FlashAttention 的核心思想是什么?为什么比标准注意力快?
模型选型与微调
Transformer 编码器和解码器的区别?BERT 和 GPT 分别用哪种?
模型选型与微调
GQA、MQA、MHA 的区别?为什么现在主流大模型都用 GQA?
模型选型与微调
Pre-LN 和 Post-LN 的区别?为什么大模型普遍用 Pre-LN?
模型选型与微调
RoPE(旋转位置编码)的数学原理和优势?
模型选型与微调
如果让你优化一个长上下文(128K)Transformer 的推理性能,你会从哪些方面入手?
模型选型与微调
为什么 Self-Attention 的复杂度是 O(n²·d)?在 n 很大时有什么替代方案?
模型选型与微调
全参微调 vs LoRA 的区别?各自适用场景?
模型选型与微调
LoRA 的原理是什么?为什么低秩分解有效?
模型选型与微调
QLoRA 的核心创新是什么?
模型选型与微调
微调数据集怎么构建?需要注意什么?
模型选型与微调
什么是灾难性遗忘?怎么缓解?
模型选型与微调
微调时 loss 不降怎么办?排查思路?
模型选型与微调
怎么判断微调是否过拟合?
模型选型与微调
LoRA 的 rank (r) 和 alpha 怎么设置?
模型选型与微调
如果只有 1000 条数据,你会怎么微调?
模型选型与微调
全参微调时,学习率怎么选?为什么比预训练小?
模型选型与微调
指令微调数据格式为什么重要?举个例子说明。
模型选型与微调
为什么不直接按字/词分词,要用 BPE?
模型选型与微调
BPE 的算法流程是什么?
模型选型与微调
BPE、WordPiece、Unigram LM 的区别?
模型选型与微调
特殊 token(如 <|im_start|>)的作用?为什么要加特殊 token?
模型选型与微调
中文分词在 BPE 下有什么问题?怎么解决?
模型选型与微调
为什么 GPT-4 的 token 数和字符数不是线性关系?
模型选型与微调
OOV(未登录词)问题在 BPE 下怎么处理?
模型选型与微调
SentencePiece 和 HuggingFace Tokenizer 的区别?
模型选型与微调
怎么估算一段文本的 token 数?为什么要关心这个?
模型选型与微调
为什么扩展词表会影响模型效果?
模型选型与微调
CLIP 的核心思想是什么?对比学习怎么做的?
模型选型与微调
ViT 和 CNN 的区别?ViT 为什么需要大数据预训练?
模型选型与微调
图文对齐(Image-Text Alignment)为什么难?
模型选型与微调
多模态大模型(如 GPT-4V)的架构一般是什么样的?
模型选型与微调
多模态模型怎么做幻觉评估?
模型选型与微调
为什么多模态模型经常"看不见"图里的小物体?
模型选型与微调
做一个图文问答系统,你会怎么选架构?
模型选型与微调
LLaVA 的架构是什么?简单描述一下。
模型选型与微调
多模态模型的推理瓶颈在哪里?
模型选型与微调
CLIP 之后有哪些重要的多模态预训练工作?
模型选型与微调
Attention 为什么要除以 √d_k?
模型选型与微调
MHA / GQA / MQA 的区别?为什么现在多用 GQA?
模型选型与微调
KV Cache 是什么?为什么长任务是显存瓶颈?
模型选型与微调
RoPE 相比绝对位置编码好在哪?
模型选型与微调
Function Calling 的完整链路?
模型选型与微调
模型返回非法参数怎么办?
模型选型与微调
RLHF 三阶段?DPO 为什么更简单?
模型选型与微调
LoRA 的低秩假设是什么?r 怎么选?
模型选型与微调
QLoRA 相比 LoRA 多了什么?
模型选型与微调
RAG、微调、长上下文怎么选?
模型选型与微调
vLLM 为什么快?
模型选型与微调
为什么上下文变长后效果反而变差?
模型选型与微调
Temperature、top_p 有什么区别?调参怎么配合?
模型选型与微调
幻觉能彻底消除吗?
模型选型与微调
Pre-Norm、Post-Norm 和 Sandwich Norm 有什么区别?为什么深层模型常用 Pre-Norm?(高级)
模型选型与微调
RMSNorm 与 LayerNorm 有什么区别,为什么很多大模型选择 RMSNorm?(高级)
模型选型与微调
Transformer 中 FFN/MLP 层承担什么作用?SwiGLU 为什么常见?(高级)
模型选型与微调
Transformer 训练出现 Loss Spike、梯度爆炸或 NaN,如何系统定位?(高级)
模型选型与微调
为什么需要Multi-Head?为什么Attention可以看成动态加权?(百度Agent)
模型选型与微调
Attention复杂度很高,如果上下文特别长,会怎么优化?(百度Agent)
模型选型与微调
Self-Attention的完整计算流程是什么?
模型选型与微调
Attention公式为什么要除以√d_k?
模型选型与微调
Softmax在Attention中的作用是什么?
模型选型与微调
Multi-Head Attention为什么比单头效果好?
模型选型与微调
Multi-Head Attention的本质是什么?
模型选型与微调
Self-Attention和Cross-Attention有什么区别?
模型选型与微调
Transformer为什么能替代RNN和LSTM?
模型选型与微调
为什么Q、K、V要拆成三组矩阵,而不是一个矩阵完成计算?
模型选型与微调
Multi-Head的Head数量如何确定?
模型选型与微调
不同Head学到的内容是否真的不同?如何验证?
模型选型与微调
Attention与CNN的本质区别是什么?
模型选型与微调
Attention与RNN的本质区别是什么?
模型选型与微调
Multi-Head是否存在冗余Head问题?如何压缩?
模型选型与微调
KV Cache的作用是什么?为什么能加速推理?
模型选型与微调
Attention时间复杂度为什么是O(n²)?
模型选型与微调
长文本场景下Attention面临哪些性能瓶颈?
模型选型与微调
Flash Attention优化了什么问题?
模型选型与微调
MQA与GQA为什么能够降低KV Cache开销?
模型选型与微调
推理阶段KV Cache为什么能加速生成?
模型选型与微调
Transformer训练和推理阶段Attention计算有什么区别?
模型选型与微调
Linear Attention与标准Attention的区别是什么?
模型选型与微调
在Agent长上下文场景下,Attention计算成本如何优化?
模型选型与微调
Causal Mask 与 Teacher Forcing 如何配合?训练时为什么不算“偷看答案”?(高级)
模型选型与微调
FlashAttention、PagedAttention 和 Continuous Batching 分别优化什么?(高级)
模型选型与微调
Prefill 与 Decode 的瓶颈为什么不同?何时考虑分离部署?(高级)
模型选型与微调
大模型量化中 W8A8、W4A16、KV Cache 量化如何选择?(高级)
模型选型与微调
MoE Transformer 为什么能扩大参数量却不同比例增加计算?它的工程难点是什么?(高级)
模型选型与微调
数据并行、张量并行、流水线并行、序列并行和专家并行如何组合?(高级)
模型选型与微调
LLM的输入到底是什么?模型真正看到的是什么?(百度Agent)
模型选型与微调
Self-Attention的核心作用是什么?为什么要拆成QKV?为什么Attention可以建模长距离关系?(百度Agent)
模型选型与微调
同一个token的Q、K、V为什么不一样?(百度Agent)
模型选型与微调
Token和字符数、单词数之间是什么关系?
模型选型与微调
为什么不同模型计算出的Token数不一样?
模型选型与微调
Transformer真正计算的对象为什么是向量而不是文本?
模型选型与微调
大模型是否真的"理解"文本,还是在预测Token?
模型选型与微调
模型训练阶段和推理阶段看到的输入有什么区别?
模型选型与微调
Embedding的本质是什么?如何训练出来?
模型选型与微调
Position Encoding为什么是Transformer必需的?
模型选型与微调
RoPE为什么成为当前主流位置编码方案?
模型选型与微调
RoPE与传统Position Encoding有什么区别?
模型选型与微调
Context Window为什么会存在长度限制?
模型选型与微调
长上下文模型是如何实现的?
模型选型与微调
Sparse Attention和Dense Attention有什么区别?
模型选型与微调
大模型长上下文能力受哪些因素限制?
模型选型与微调
当前主流长上下文优化方案有哪些?
模型选型与微调
大模型推理阶段KV Cache与Attention的关系是什么?
模型选型与微调
Attention是否真的具有可解释性?
模型选型与微调
Attention Map如何可视化分析?
模型选型与微调
Attention权重是否可以直接解释模型决策?
模型选型与微调
Encoder-only、Decoder-only 和 Encoder-Decoder Transformer 如何选型?(高级)
模型选型与微调
如何估算一个 Decoder-only Transformer 的参数量、训练 FLOPs 和 KV Cache 显存?(高级)
模型选型与微调
RoPE 外推到更长上下文时为什么会退化?位置插值、NTK Scaling 和 YaRN 如何理解?(高级)
模型选型与微调
Speculative Decoding 为什么能加速?如何保证输出分布不变?(高级)
模型选型与微调
Head数量增加是否一定提升效果?
模型选型与微调