题目内容

某精密装配线用多层前馈网络估计工位夹具的热变形评分。给定一批样本的特征、标签与当前权重，按下列规则完成一次前向传播与反向传播，输出更新后的各层权重与偏置。本题要求实现反向传播。

处理规则

网络含 $L$ 层仿射变换。记 $n_0=d$，第 $l$ 层权重 $W^{(l)}$ 为 $n_l\times n_{l-1}$ 矩阵，第 $i$ 行第 $j$ 列连接上一层第 $j$ 个节点到本层第 $i$ 个节点；$b^{(l)}$ 为长度 $n_l$ 的偏置。输入 $a^{(0)}=x$。第 $1,\ldots,L-1$ 层为隐藏层，第 $L$ 层输出一个标量 $\hat y$。

一、前向传播

对 $l=1,\ldots,L$，预激活 $z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)}$。 算出后每个元素立即四舍五入到 $4$ 位小数。

隐藏层平方整流 $a^{(l)}_i=(z^{(l)}_i)^{2}/4$（当 $z^{(l)}_i>0$），否则 $a^{(l)}_i=0$。 输出层 $a^{(L)}=z^{(L)}$，$\hat y=a^{(L)}_1$。算出 $a^{(l)}$ 后每个元素立即四舍五入到 $4$ 位小数。

二、反向传播

单样本损失 $\ell=\frac12(\hat y-y)^{2}$。一批 $m$ 个样本的梯度对样本求和，不平均。反向过程使用更新前的 $W$。

输出层 $\delta^{(L)}=\hat y-y$，随后四舍五入到 $4$ 位小数。

隐藏层 $l=L-1,\ldots,1$： $\delta^{(l)}=(W^{(l+1)})^{\top}\delta^{(l+1)}\odot g'(z^{(l)})$， $g'(z)=z/2$（当 $z>0$），否则 $g'(z)=0$。 $g'$ 必须作用在该层前向已舍入的 $z^{(l)}$ 上。算出 $\delta^{(l)}$ 后每个元素立即四舍五入到 $4$ 位小数。

$dW^{(l)}=\sum_{k=1}^{m}\delta^{(l)}(a^{(l-1)})^{\top}$，$db^{(l)}=\sum_{k=1}^{m}\delta^{(l)}$。全部样本累加完毕后，对 $dW$、$db$ 每个元素四舍五入到 $4$ 位小数。

三、参数更新

学习率 $\eta$ 给定。$W^{(l)}\leftarrow W^{(l)}-\eta\,dW^{(l)}$，$b^{(l)}\leftarrow b^{(l)}-\eta\,db^{(l)}$。更新后每个元素四舍五入到 $4$ 位小数。

四舍五入：保留 $4$ 位小数，第 $5$ 位 $\ge 5$ 则第 $4$ 位绝对值加 $1$（远离 $0$）。

输入描述

第一行两个整数 $m$、$d$。

接下来 $m$ 行，每行 $d+1$ 个实数：前 $d$ 个为特征 $x$，最后一个为标签 $y$。

下一行一个整数 $L$。

下一行 $L$ 个整数 $n_1,\ldots,n_L$。

随后按 $l=1,\ldots,L$ 给出第 $l$ 层参数：先 $n_l$ 行、每行 $n_{l-1}$ 个实数表示 $W^{(l)}$（$n_0=d$），再一行 $n_l$ 个实数表示 $b^{(l)}$。

最后一行一个实数 $\eta$。

约束

$1 \le m \le 30$

$1 \le d \le 4$

$2 \le L \le 3$

$1 \le n_l \le 4$，且 $n_L=1$

输入所有实数绝对值不超过 $1$，$0.05 \le \eta \le 0.5$，至多给出 $4$ 位小数。

输出描述

按 $l=1,\ldots,L$ 输出更新后的参数：先 $n_l$ 行、每行 $n_{l-1}$ 个实数（$W^{(l)}$），再一行 $n_l$ 个实数（$b^{(l)}$）。每个实数保留恰好 $4$ 位小数，同行以空格分隔。

样例1

输入

1 2
1.0 0.5 1.0
2
2 1
0.4 0.2
-0.3 0.8
0.1 -0.2
0.5 -0.4
0.2
0.1

输出

0.4113 0.2057
-0.3000 0.8000
0.1113 -0.2000
0.5068 -0.4000
0.2755

说明

$z^{(1)}=(0.6000,-0.1000)$。平方整流得 $a^{(1)}=(0.0900,0.0000)$。$z^{(2)}=\hat y=0.2450$。

$\delta^{(2)}=0.2450-1.0=-0.7550$。$g'(z^{(1)})=(0.3000,0.0000)$，故 $\delta^{(1)}=(-0.1133,0.0000)$。

$dW^{(2)}=(-0.0680,0.0000)$，$db^{(2)}=-0.7550$；$dW^{(1)}$ 第一行为 $(-0.1133,-0.0567)$，第二行全 $0$，$db^{(1)}=(-0.1133,0.0000)$。

以 $\eta=0.1$ 更新后即得输出。

样例2

输入

2 2
1.0 0.0 0.8
0.0 1.0 0.2
3
2 2 1
0.8 0.4
0.5 -0.2
0.2 0.1
0.6 0.5
-0.4 0.8
0.1 -0.2
0.5 -0.4
0.2
0.1

输出

0.8013 0.4000
0.5007 -0.2000
0.2013 0.1007
0.6011 0.5004
-0.4000 0.8000
0.1043 -0.2000
0.5013 -0.4000
0.2586

说明

第一份样本：$z^{(1)}=(1.0000,0.6000)$，$a^{(1)}=(0.2500,0.0900)$；$z^{(2)}=(0.2950,-0.2280)$，$a^{(2)}=(0.0218,0.0000)$；$\hat y=0.2109$，$\delta^{(3)}=-0.5891$。第二层预激活有负分量，$g'$ 对应为 $0$，故 $\delta^{(2)}=(-0.0434,0.0000)$，$\delta^{(1)}=(-0.0130,-0.0065)$。

第二份样本同样走完前向与反向后，两份梯度求和再舍入：$db^{(3)}=-0.5861$。以 $\eta=0.1$ 更新即得输出。