简介
K均值聚类（K-Means Clustering）是一种经典的无监督学习算法，但在处理大规模数据集时，计算成本较高。为了解决这一问题，Mini-Batch K均值聚类应运而生。Mini-Batch K均值聚类通过使用数据的子集（mini-batch）来更新簇中心，从而减少了计算量，加快了处理速度。
Mini-Batch K均值算法
Mini-Batch K均值算法的基本步骤如下：
- 初始化簇中心：从数据集中随机选择K个样本作为初始簇中心。
- 批量更新：
- 随机选择数据的一个小批量。
- 对于该批量中的每个样本，分配其到最近的簇中心。
- 根据分配结果更新簇中心的位置。
- 停止条件：重复步骤2，直到达到最大迭代次数或簇中心变化小于设定的容忍度。
代码实现
以下是Mini-Batch K均值聚类的Python实现：
from sklearn.metrics import pairwise_distances_argmin
from sklearn.datasets import make_blobs
from time import time
import numpy as npclass Mini_KMeans:def __init__(self, k, replacement=True, batch_size=100, max_iter=100):self.k = kself.replacement = replacementself.batch_size = batch_sizeself.max_iter = max_iterdef fit(self, X):m, n = X.shape# 1. 随机选择k个簇中心rng = np.random.RandomState(99)i = rng.permutation(m)[:self.k]self.centers = X[i]# 2. 批量更新for ix in np.arange(self.max_iter):random = rng.randint(m)X_batch = X[random:random+self.batch_size]# 3. 根据最近的簇中心分配标签labels = pairwise_distances_argmin(X_batch, self.centers)# 4. 更新簇中心new_centers = []for i in range(self.k):new_centers.append(X_batch[labels == i].mean(axis=0))new_centers = np.array(new_centers)# 5. 停止条件if np.allclose(self.centers, new_centers, rtol=0.2):breakelse:self.centers = new_centersprint(f"Done in {ix} iterations")# 计算总的簇内变异度total_with_variation_score = 0labels = pairwise_distances_argmin(X, self.centers)for i in range(self.k):cluster_mean = X[labels==i].mean(axis=0)total_with_variation_score += ((X[labels==i] - cluster_mean) ** 2).sum()print("Total within-cluster variation score: ", total_with_variation_score)def predict(self, X):return pairwise_distances_argmin(X, self.centers)# 主代码
X, _ = make_blobs(n_samples=1500, centers=4, cluster_std=0.60, random_state=0)
for k in range(2, 7):print(f"===== k = {k}")start = time()model = Mini_KMeans(k=k, max_iter=100)model.fit(X)print(f"Elapsed time: {time() - start:.2f} seconds")
结语
Mini-Batch K均值聚类与标准K均值聚类相比，在处理大规模数据时表现出色，虽然在准确性上略有差距，但在计算速度上却能显著提高。与之前介绍的监督学习模型（如决策树、随机森林）相比，Mini-Batch K均值属于无监督学习范畴，不依赖于标签信息，而是通过数据的内部结构来发现潜在的分组。因此，它在数据探索和特征学习等任务中具有重要作用。
如果你觉得这篇博文对你有帮助，请点赞、收藏、关注我，并且可以打赏支持我！
欢迎关注我的后续博文，我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。
谢谢大家的支持！