1、设模型参数量 $N=7B$，训练数据量 $T=1T$ token，采用 FP16 混合精度训练（Adam 优化器）。以下关于显存占用的估算，说法正确的是：

{{ select(1) }}

• 使用梯度检查点（Gradient Checkpointing）会增加显存占用
• 训练时需保存 FP32 主权重、FP16 参数、FP16 梯度，以及 Adam 的一阶和二阶矩（FP32），总显存约 $7B\times(4+2+2+4+4)\ \text{Byte}=7B\times16\ \text{Byte}\approx112GB$
• 仅模型参数占用显存 $=7B\times2\ \text{Byte}=14GB$（FP16），训练总显存约等于14GB
• 训练显存仅取决于参数量，与 batch size 和序列长度无关

2、已知事件 $A$ 与 $B$ 互斥且独立，则下列一定成立的是（ ）

{{ select(2) }}

• $P(A)=P(B)=0.5$
• $P(A\cap B)=1$
• $P(A\cup B)=1$
• $P(A)=0$ 或 $P(B)=0$

3、训练脚本支持 gradient accumulation，你把 $\text{micro\_batch}=1\to4$，并把 accumulation 相应减小，global batch 保持不变。通常最可能出现的变化是（ ）

{{ select(3) }}

• 一定吞吐下降
• 参数量减少
• 显存占用上升
• 一定收敛更好

4、Transformer模型最初被提出来主要是用于什么任务？

{{ select(4) }}

• 文本生成
• 图像分类
• 语音识别
• 机器翻译

5、BLIP-2中Q-Former的核心设计原理是“可查询的Transformer”。关于其工作机制和训练策略，以下哪项描述最准确？

{{ select(5) }}

• Q-Former包含双向自注意力（queries之间）和交叉注意力（queries与视觉特征），冻结视觉编码器，queries通过交叉注意力从冻结的视觉特征中抽取压缩信息
• Q-Former是视觉编码器的替代品，输入原始像素，输出固定32个token，通过ITG损失训练文本生成能力
• Q-Former的queries通过自注意力直接与文本交互，无需交叉注意力即可压缩视觉信息，训练时解冻视觉编码器以学习更好的视觉表示
• Q-Former使用共享的自注意力层同时处理可学习queries和文本tokens，通过ITC/ITM/ITG三个损失训练，所有损失都更新视觉编码器参数