题目内容

在深度学习的训练过程中，反向传播（Backpropagation）是计算梯度并更新网络参数的核心算法。本题要求实现一个用于回归任务的三层 $MLP$（多层感知机）的单次前向传播与反向传播，给定网络参数、一个输入样本及其目标值，计算梯度下降更新后的新参数。

网络架构与参数

网络为三层全连接结构：

输入层 $(d_{in}) \rightarrow$ 隐藏层 $(d_{hidden},\mathrm{ReLU}) \rightarrow$ 输出层 $(d_{out},$ 线性$)$

其中 $d_{in}$、$d_{hidden}$、$d_{out}$ 分别为各层的维度（神经元个数），网络中所有向量和矩阵的形状均由此三个维度唯一确定。各参数和中间变量定义如下：

计算流程

1.前向传播

2.损失函数

3.反向传播

输出层梯度：

隐藏层梯度：

其中 $\otimes$ 为向量外积，$\odot$ 为逐元素乘法，$\mathrm{ReLU}'(z)$ 在 $z=0$ 时为 $0$。

4.权重更新（梯度下降）

对 $W_1,\boldsymbol b_1,W_2,\boldsymbol b_2$ 分别执行上述更新。

数据约束

• $1 \le d_{in},d_{hidden},d_{out} \le 10$
• 权重和偏置的初始值绝对值不超过 $5$
• 输入特征和目标值绝对值不超过 $10$
• $0.001 \le \eta \le 1.0$

输入描述

1. 一行：$d_{in}\ d_{hidden}\ d_{out}$

2. $W_1$：共 $d_{hidden}$ 行，每行 $d_{in}$ 个浮点数

3. $\boldsymbol b_1$：一行，$d_{hidden}$ 个浮点数

4. $W_2$：共 $d_{out}$ 行，每行 $d_{hidden}$ 个浮点数

5. $\boldsymbol b_2$：一行，$d_{out}$ 个浮点数

6. $\boldsymbol x$：一行，$d_{in}$ 个浮点数

7. $\boldsymbol y_{true}$：一行，$d_{out}$ 个浮点数

8. $\eta$：一个浮点数

输出描述

$W_{1new}$：共 $d_{hidden}$行，每行 $d_{in}$ 个浮点数

$\boldsymbol b_{1new}$：一行，$d_{hidden}$ 个浮点数

$W_{2new}$：共 $d_{out}$行，每行 $d_{hidden}$ 个浮点数

$\boldsymbol b_{2new}$：一行，$d_{out}$ 个浮点数

$\boldsymbol y_{pred}$：一行，$d_{out}$ 个浮点数

所有浮点数保留$6$位小数，同一行以内以空格分隔。

样例1

输入

2 2 2
0.4 0.3
-0.5 0.6
0.1 -0.2
0.5 -0.3
0.2 0.4
0.0 0.1
1.0 0.5
0.5 0.3
0.2

输出

0.420300 0.310150
-0.500000 0.600000
0.120300 -0.200000
0.522750 -0.300000
0.209100 0.400000
0.035000 0.114000
0.325000 0.230000

说明

本例网络为 $2\rightarrow2\rightarrow2$ 的多输出结构。

前向传播时，$\boldsymbol z_1=[0.65,-0.4]$，第 $2$ 个神经元被 $ReLU$ 关闭，$\boldsymbol a_1=[0.65,0]$。

预测值 $\boldsymbol y_{pred}=[0.325,0.23]$。

反向传播时，$\boldsymbol \delta_2=[-0.175,-0.07]$ 是二维向量，两个输出分量的误差通过 $W_2^\top\boldsymbol \delta_2$ 叠加后传回隐藏层；

但第 $2$ 个神经元被 $ReLU$ 阻断，因此只有第 $1$ 个神经元对应的 $W_1$第$1$ 行和 $\boldsymbol b_1$ 第 $1$ 个分量发生更新，第 $2$ 行保持不变。

样例2

输入

2 2 1
-1.0 -1.0
-0.5 -0.8
-0.5 -0.3
0.5 0.3
0.1
1.0 1.0
0.5
0.1

输出

-1.000000 -1.000000
-0.500000 -0.800000
-0.500000 -0.300000
0.500000 0.300000
0.140000
0.100000

说明

本例网络为 $2\rightarrow2\rightarrow1$ 结构。

前向传播时，$\boldsymbol z_1=[-2.5,-1.6]$ 的两个分量均为负值，$ReLU$ 将它们全部置零（$\boldsymbol a_1=[0,0]$），预测值完全由输出层偏置决定：$\boldsymbol y_{pred}=\boldsymbol b_2=0.1$。

反向传播时，由于 $\boldsymbol a_1$ 全为零且$\mathrm{ReLU}'(\boldsymbol z_1)=[0,0]$，所有流回隐藏层的梯度均被完全阻断，导致 $W_1$、$\boldsymbol b_1$、$W_2$ 均未更新，只有 $\boldsymbol b_2$ 因直接连接输出层而从 $0.1$ 更新为 $0.14$。