18-聚类概述

根据样本间的相似性将样本划分到不同的类别中不同的相似度计算方法会得到不同的聚类结果常用的相似度计算方法欧氏距离。聚类是一种无监督学习算法目的是没有先验知识的情况下 自动发现数据集中的内在结构和模式。应用用户画像、广告推荐、图像分割、降维等、离群点识别、信用卡异常消费等。1. 分类根据聚类颗粒度分根据实现方法分K-means按照质心聚类层次聚类对数据进行逐层划分直到达到聚类的类别个数DBSCAN基于密度的聚类算法谱聚类基于图论的聚类算法2. Kmeans算法流程随机设置k个特征空间内的点作为初始聚类中心计算每个样本与 k 个中心点的欧式距离将样本划分到距离最近的簇。对每个簇内所有样本计算特征均值作为该簇新的中心点。重复「分配样本→更新中心」循环停止条件中心点不再发生位移 / 达到预设最大迭代次数。3. 评估指标3.1 SSESSE误差平方和其中表示第i簇k表示聚类中心的个数p表示某个簇内的样本m表示质心点。SSE越小聚类效果越好K值的确定肘方法迭代从1到n计算每个k对应的模型SSESSE逐渐变小一般下降突然变缓时对应的k认为时最佳k值3.2 SCSCSC轮廓系数Silhouette Coefficient考虑簇内的内聚程度、簇外的分离程度。取值范围是[-1,1]。SC值越接近1聚类效果越好0.5聚类良好负数为大量样本错分聚类失效。计算每一个样本i到同簇内其他样本的平均距离该值越小族内相似度越高计算每一个样本i到最近的簇j内所有样本的平均距离该值越大样本i越不属于j簇该样本的轮廓系数计算所有样本的平均轮廓系数K值的确定SC轮廓系数图迭代从1到n计算每个k对应的模型SCSC最大时对应的k认为时最佳k值3.3 CHCHCH轮廓系数Calinski-Harabasz Index考虑簇内的内聚程度、簇外的离散程度、质心的个数。类别内距离平方和越小越好类别之间距离平方和越大越好聚类数越小越好。其中SSW相当于SSE越小越好SSB越大越好。整体CH越大越好4. Kmeans算法API参数n_clusters产生的质心数。sklearn.cluster.Kmeans(n_clusters8) estimator.fit(x) estimator.predict(x) estimator.fit_predict(x)案例汇总补充知识A 朴素贝叶斯朴素贝叶斯算法是利用概率值进行分类的机器学习算法贝叶斯公式其中P(C)表示C出现的概率一般是目标值P(W|C)表示C条件下W出现的概率P(W)表示W出现的概率。公式来源当特征之间相互独立时即为朴素贝叶斯即APIsklearn.naive_bayes.MultinomialNB(alpha1.0)B 拉普拉斯平滑系数为了避免概率值为0在分子和分母上分别加1个数值其中为拉普拉斯平滑系数一般指定为1为中符合C条件的样本数量N为C条件下的样本总数m为所有独立样本的总数。