答案:C. 张量并行(TP)通信量过大导致带宽饱和
在千亿大推荐模型预训练场景下,NVLink/PCIe流量饱和,GPU算力利用率低(GPU Util=30%),属于通信瓶颈。张量并行TP会在不同GPU之间频繁交换张量,产生巨大跨卡通信流量,占满通信带宽,GPU等待数据,算力闲置。
1、仓储调度里用递归函数 weigh(k) 估计堆叠高度为 k 时的承重分,代码如下。其时间复杂度是?
int weigh(int k) {
if (k <= 1) return 1;
return (4 * weigh(k - 1) + 5 * weigh(k - 2));
}
{{ select(1) }}
2、气象站要把逐小时风向记录送进序列模型,比较普通循环网络与长短期记忆网络。下列说法正确的是? {{ select(2) }}
3、温室产量建模写成岭回归。观测 Zi∼N(α+uiTγ,φ2),并给系数先验 γj∼N(0,ψ2)。对应的正则化参数 λ 是? {{ select(3) }}
4、机房用多卡训练工业点云分割大模型。nvidia-smi 显示 GPU Util 约 30%,但 NVLink/PCIe 出流量已经打满。更符合该现象的原因是?
{{ select(4) }}
5、告警回放做成链栈,栈顶指针为 hd。新到一帧结点 q,执行 q->next = hd; hd = q;。该操作表示?
{{ select(5) }}
qq 作为新的栈顶压入
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册