答案:D.它在负区间有平滑的曲线,可能保留更多信息
解析:Swish 在负区间具备平滑的非单调曲线,可保留更多负值信息,这是相较于 ReLU 的核心优势。
1、Swish激活函数定义为f(x)=x·sigmoid(x)。相比于ReLU,Swish的主要特点是? {{ select(1) }}
2、在使用 ZeRO1 (Zero Redundancy Optimizer) 优化的数据并行中,每个GPU计算完局部梯度后,通过哪两个基础通信算子以实现梯度的聚合和分片? {{ select(2) }}
3、在表格数据处理中,若某列包含连续数值,另一列包含类别标签(如"男/女"),为了输入神经网络,通常的做法是? {{ select(3) }}
4、在对大模型(LLM)的权重或激活值进行INT8或FP8量化时,通常假设数据在经过Batch Normalization或大量累加后近似服从正态分布N(0,σ2)。为了减少量化后的平均偏差,我们需要选择一个截断阈值T,将范围∣−T,T∣之外的离群值(Outliers)强制映射为−T或T。若我们设定T=3σ,基于高斯分布的性质,这种"3σ截断法则"会导致大约多少比例的原始数据信息产生截断失真(Clipping Error)? {{ select(4) }}
5、在构建线性回归模型时,发现训练误差很小,但测试误差很大,最可能的原因是 {{ select(5) }}
By signing up a CodeFun2000 universal account, you can submit code and join discussions in all online judging services provided by us.