按 token 处理特征向量
输入 x 的形状为 B × S × D。
x
B × S × D
对于每个位置 (b, s)，取出长度为 D 的特征向量：
(b, s)
D
实现 RMSNorm（RootMeanSquareLayerNormalization）RMSNorm（Root Mean Square Layer Normalization）RMSNorm（RootMeanSquareLayerNormalization）的前向计算。
RMSNormRMSNormRMSNorm 是大模型中常用的归一化方法。与 LayerNormLayerNormLayerNorm 不同，RMSNormRMSNormRMSNorm 不会减去均值，只使用输入特征的均方根进行归一化，然后乘以可学习的缩放参数 weight。
weight
给定输入张量 x 和缩放参数 weight，请你计算 RMSNormRMSNormRMSNorm 的输出。
对于每个 tokentokentoken 的特征向量 x_i，RMSNormRMSNormRMSNorm 定义如下：
x_i
本题属于以下题库，请选择所需题库进行购买
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册
