1、为缓解大模型处理超长序列时全局注意力代价过高的问题，常用的结构是？ {{ select(1) }}

• 循环神经网络（RNN）
• 全连接层（Dense Layer）
• 滑动窗口注意力（Sliding Window Attention）
• 卷积层（Convolutional Layer）

2、联邦学习中微调跨城实时用电负荷预测模型，各客户端处在不同时区。本地钟点对应的负荷峰谷相位不一致，全局模型难收敛、效果差。要从根本上缓解，较合适的做法是： {{ select(2) }}

• 各客户端先把时间戳统一成 UTC，抹掉本地钟点信息再参与聚合
• 按相对参考时区的偏移，对本地时间序列做循环平移，强行对齐到同一相位
• 输入同时给出本地钟点特征（小时、星期几等）以及独立的时区嵌入，让模型学时区与负荷模式的关系
• 在本地训练时加对抗判别器，迫使各客户端的时间特征分布彼此接近

3、训练带 LayerNorm 的标准 Transformer 多语言神经机器翻译模型。共享 BPE 来自高资源语种，输入已加明确的目标语标识；数据质量与对齐正常。某低资源语种文字系统不同：UNK 约 $34\%$，词均切成 $7.2$ 个子词；高资源语种对应约 $0.4\%$ 与 $2.0\%$。加深模型的对照实验也未能抬升 BLEU，该语种 BLEU 仍接近 $0$。当前应优先定位的主瓶颈是（）。 {{ select(3) }}

• Transformer 架构本身不适合低资源语种的翻译映射
• 未加入目标语标识，模型无法区分译入语
• 语序差异过大，当前深度不足以学到这种差异
• BPE 词表覆盖不足，造成高比例 UNK 与严重碎片化

4、关于大模型预训练中的学习率调度，正确的是（） {{ select(4) }}

• 线性 warmup 应占总训练步数的 $50\%$ 以上
• 基于训练损失变化的动态调度（如 ReduceLROnPlateau）不适合预训练
• 使用 Adam 时，学习率调度对效果几乎可以忽略
• 余弦退火（Cosine Decay）在学习率降至 $0$ 后会自动重启

5、将图像块嵌入与语言侧风格的 Transformer 结合时，视觉 Transformer（ViT）的主要架构调整是？ {{ select(5) }}

• 去掉自注意力，改用卷积处理图像
• 强制采用仅解码器结构，丢弃编码器
• 对图像块做线性投影，并添加位置编码
• 在自注意力之后再叠加 RNN 层处理序列