解题思路

题目要求我们按照给定公式，使用$NGD$，也就是归一化梯度下降，来优化目标函数：

对应梯度为：

题目内容

仅使用 $numpy$，手写实现一种简化变体优化器 $NGD$ ($Normalized$ $Gradient$ $Descent$)。

与标准 $GD$ 不同，$NGD$ 先把梯度归一化为单位 $L2$ 向量，再按衰减学习率更新：

设目标

$f(\mathbf{w})=\frac{1}{2}\|X \mathbf{w}-\mathbf{y}\|_{2}^{2}+\lambda\|\mathbf{w}\|_{2}^{2}, \quad X \in \mathbb{R}^{n \times d}, \mathbf{y} \in \mathbb{R}^{n}$.

梯度

$\nabla f=X^{\top}(X \mathbf{w}-\mathbf{y})+2 \lambda \mathbf{w}$.

归一化

$\hat{\mathbf{g}}=\frac{\nabla f}{\max \left(\|\nabla f\|_{2}, \varepsilon\right)}$.

其中 $ε=1e−10$ 为梯度范数阈值。若 $\|\nabla f\|_2<\varepsilon$ 或出现 $NaN/Inf$（通过 $np.isfinite$ ），跳过本次更新并进入下一步迭代（仍计步），以避免数值不稳定。

学习率

$\eta_{t}=\frac{\eta_{0}}{\sqrt{t}}$，其中$\quad t=1,2, \ldots, T$。

更新

$\mathbf{w}_{t+1}=\mathbf{w}_{t}-\eta_{t} \hat{\mathbf{g}}$.

你需要用到的参数:

参数 数值

$η_0$​ $0.2$

$λ$ $0.01$

迭代步数 $T$ $60$

计算完 $w_T$​ 后，对测试集做线性输出 $\hat{y}=X_{\text {test }} \mathbf{w}_{T}$ ​并取 $sign$（结果 $≥0$ 取 $1$，否则 $0$）。

输入描述

单行 $JSON$:

{
  "train_X": [[...], ...],  // n×d
  "train_y": [...],         // 长度 n（实数）
  "test_X": [[...], ...]    // m×d
}

• $n≤60, m≤15, d≤6$

• 所有值为实数；不含缺失

输出描述

仅一行 JSON：

{
  "weights": [w1, w2, ...],  // 长度 d，保留 6 位小数，使用 round(x, 6) 即可
  "test_pred": [0/1, ...]    // 长度 m
}

补充说明

1.权重初始化：$w_0=0_d$​。

2.对数域或动量均不需要，严格按上述公式迭代 $60$ 步即可。

3.梯度归一化若出现 $\|\nabla f\|_{2}=0$，请跳过更新。

4.为确保通过测试用例，仅允许使用 $numpy$ 实现。

样例1

输入

{"train_X":[[0,0],[0.2,0.1],[0.1,-0.1],[4,4],[4.1,3.9]],"train_y":[0,0,0,1,1],"test_X":[[0.05,0.05],[4.05,4.05]]}

输出

{"weights":[0.075281,0.138912],"test_pred":[1,1]}