计算门控分支
输入 x 的形状为 B × S × D，W_gate 的形状为 D × H。
x
B × S × D
W_gate
D × H
门控分支为：
实现大语言模型中常用的 SwiGLU 前馈网络模块。
SwiGLU 是一种门控前馈结构，相比普通的 ReLU FFN，它会使用一个门控分支控制另一个上投影分支的信息流动。许多大模型的 FFN 层都全采用类似结构。
给定输入张量 x，以及三组权重矩阵 W_gate、W_up、W_down，请你计算 SwiGLU FFN 的输出。
W_up
W_down
计算过程如下：
本题属于以下题库，请选择所需题库进行购买
Scan the QR code below with WeChat to sign in
First-time scan will create your account automatically
请使用微信扫描下方二维码完成注册
