一阶动量是梯度的指数滑动平均:
m_new=β1m+(1−β1)grads实现 AdamW 优化器的一步参数更新。
给定当前参数 params、梯度 grads、一阶动量 m 和二阶动量 v,请你根据 AdamW 的更新规则,计算更新后的参数 params_new。
本题中固定使用以下超参数:
lr = 0.01beta1 = 0.9
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册