题目内容

你得到一份来自两个不同来源的数据，每个样本包含多个特征和一个类别编号（0 或 1）。现在需要根据这些有标签的数据，设计一个分类器来预测新样本的类别。

你决定采用一种“投影-距离”策略。首先寻找一条最优的投影直线，使得投影后类内差异尽量小、类间差异尽量大。具体算法如下：

1. 计算两个类别的均值向量 $\boldsymbol{\mu}_0$ 和 $\boldsymbol{\mu}_1$。
2. 构造类内散度矩阵 $S_W = \sum_{c=0}^1 \sum_{y_i=c} (\mathbf{x}_i - \boldsymbol{\mu}_c)(\mathbf{x}_i - \boldsymbol{\mu}_c)^ op$。为防止矩阵奇异，加一个微小的正则项：$S_{ ext{reg}} = S_W + 10^{-6} \mathbf{I}$。
3. 求投影方向 $\mathbf{w}$，使其满足 $S_{ ext{reg}} \mathbf{w} = \boldsymbol{\mu}_1 - \boldsymbol{\mu}_0$。
4. 将训练集中所有样本投影到 $\mathbf{w}$ 上，分别计算类别 0 和类别 1 投影值的均值，记为 $m_0$ 和 $m_1$。