原始权重 WqW_qWq 冻结；
新增低秩矩阵 A∈Rr×d,B∈Rd×rA\in \mathbb{R}^{r\times d}, B\in \mathbb{R}^{d\times r}A∈Rr×d,B∈Rd×r，形成：
若 r=0r=0r=0，直接用原始 WqW_qWq。
相对于全量微调，LoRALoRALoRA微调提出了一种低秩分解的方法，只需在原模型参数基础上增加少量的可训练参数，大幅降低计算成本和内存占用。具体而言，对于原始的预训练权重矩阵WWW，LORALORALORA做以下改进：
W′=W+B×AW'=W+B×AW′=W+B×A
WWW为原始权重(冻结不变)，B∈Rd×rB∈R^{d×r}B∈Rd×r和 A∈Rr×dA ∈R^{r×d}A∈Rr×d为新增的低秩矩阵，r<<dr<<dr<<d，秩rrr一般很小。微调时只更新 A、BA、BA、B这两个矩阵，显著减少训练的参数数量。请实现支持LoRALoRALoRA的AttentionAttentionAttention计算
本题属于以下题库，请选择所需题库进行购买
ScanQRCodePrompt
请使用微信扫描下方二维码完成注册
