为什么线性判别分析的降维维数不能大于类别数减一

2024-03-02 00:00:00

这涉及到矩阵乘法的问题,我们假设类别总数为N:由于矩阵中的的秩为1,因此SB的秩最多为N,即类别数目(矩阵的秩小于等于各个相加矩阵的秩的和)。又由于 和N个 不是线性无关的, 和前N-1个 可以表示出第N个 ,或者说可以通的线性组合表示出来,因此 的秩最多为N-1, 的秩最大也为N-1。而LDA的映射矩阵W为 进行特征值求解的特征矩阵所组成。由于秩为N-1,那么不为0的特征值个数为则不大于N-1,因此有用的特征向量个数也不大于N-1。故其降维后的特征维度也不大于N-1。也就是对于2类,只能降维为1维。