为什么要做特征的归一化/标准化
在机器学习和数据科学中，特征的归一化/标准化是数据预处理的重要步骤。这一步骤之所以必要，主要是因为以下几个原因：
-
消除单位和尺度差异：
- 数据集中的特征可能具有不同的单位和尺度。例如，一个特征可能是以米为单位的长度，而另一个特征可能是以千克为单位的重量。这些单位和尺度差异会导致在距离计算或权重更新时，某些特征对结果的影响显著大于其他特征。归一化/标准化可以确保所有特征在相同的尺度上被平等对待。
-
加速梯度下降算法：
- 在使用梯度下降等优化算法时，如果特征的尺度差异很大，损失函数的等高线图会呈现椭圆形，导致梯度下降的路径呈锯齿状，收敛速度变慢。通过对特征进行归一化/标准化，可以使损失函数的等高线图更接近圆形，梯度下降的方向更加直接，从而加速收敛。
-
提高模型性能：
- 某些机器学习算法对特征的尺度非常敏感。例如，K-近邻算法（KNN）和K-均值聚类算法在计算距离时依赖于特征的尺度。如果特征的尺度差异很大，这些算法的性能可能会受到影响。归一化/标准化可以提高这些算法的稳定性和准确性。
-
正则化效果：
- 在某些情况下，模型的损失函数中包含正则化项，用于防止过拟合。如果特征的尺度不同，正则化项对不同特征的惩罚程度也会不同，这可能导致模型对某些特征的重视程度不够。通过归一化/标准化，可以确保正则化项对所有特征施加相同的惩罚，从而提高模型的泛化能力。
-
便于解释和比较：
- 归一化/标准化后的特征值通常在相同的尺度上，这使得模型的结果更容易解释和比较。例如，在解释模型输出时，可以更容易地理解每个特征对结果的贡献程度。
常用的特征归一化/标准化方法
-
Min-Max 归一化：
- 将特征值线性映射到指定的范围（通常是[0, 1]或[-1, 1]）。这种方法对outliers敏感，因为outliers会显著影响最小值和最大值的计算。
-
Z-score 标准化：
- 将特征值转换为均值为0、标准差为1的分布。这种方法对outliers的敏感性较低，因为标准差的计算考虑了所有样本点。
-
MaxAbs 标准化：
- 将特征值除以它们的绝对值最大值，使所有特征值的绝对值不超过1。这种方法适用于处理稀疏数据。
-
Robust 标准化：
- 使用中位数和四分位数间距（IQR）进行标准化，以减少outliers的影响。这种方法在处理存在大量outliers的数据集时特别有用。
何时选择何种方法？
- Min-Max 归一化：适用于特征值范围已知且希望将其映射到特定范围的情况。但需要注意outliers对结果的影响。
- Z-score 标准化：适用于大多数情况，特别是当特征值分布接近正态分布时。它对outliers的敏感性较低。
- MaxAbs 标准化：适用于处理稀疏数据或希望保留特征值符号的情况。
- Robust 标准化：适用于存在大量outliers的数据集。
哪些机器学习算法需要特征归一化/标准化？
- 需要距离计算的算法：如KNN、K-means等。
- 基于梯度的优化算法：如线性回归、逻辑回归、神经网络等。
- 正则化算法：如岭回归、Lasso回归等。
然而，也有一些算法不需要特征归一化/标准化，如决策树、随机森林等基于树的算法，因为它们不依赖于特征的尺度。
结论
特征的归一化/标准化是数据预处理的重要步骤，可以消除单位和尺度差异，加速梯度下降算法，提高模型性能，并便于解释和比较结果。在选择归一化/标准化方法时，需要根据数据集的特点和所使用的机器学习算法来决定。