本题要求实现一个两层的 Decoder,每层包含因果自注意力和前馈网络(FFN)两个部分,并在每个子层后加入残差连接。
对于输入 X∈RB×N×D,每一层执行如下操作:
计算:
本题为群友提供,27暑期实习拼多多大模型岗一面,面试官出的题目
实现一个两层带因果注意力(Causal Attention)的 Decoder 核心模块。
给定:
B,表示 batch 大小;N,表示序列长度;
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册