常用的聚类方法：
①分裂方法：
K-Means算法(K-平均)、K-MEDOIDS算法(K-中心点)、CLARANS算法(基于选择的算法)
②层次分析方法：
BIRCH算法(平衡迭代规约和聚类)、CURE算法(代表点聚类)、CHAMELEON算法(动态模型)
③基于密度的方法：
DBSCAN(基于高密度连接区域)、DENCLUE算法(密度分布函数)、OPTICS算法(对象排序识别)
④基于网格的方法：
STING算法(统计信息网络)、CLIOUE算法(聚类高维空间)、WAVE-CLUSTRE(小波变换)
⑤基于模型的方法：
统计学方法、神经网络方法
其中Kmeans、K中心点、系统聚类比较常用。
KMeans：K-均值聚类也叫快速聚类法，在最小化误差函数的基础上将数据划分为预定的类数K。该算法原理简单并便于处理大量的数据。
K中心点：K-均值算法对孤立点的敏感性，K-中心点算法不采用簇中对象的平均值作为簇中心，而选用簇中离平均值最近的对象作为簇中心。
系统聚类：系统聚类也叫多层次聚类，分类的单位由高到低呈树形结构，且所处的位置越低，其所包含的对象就越少，但这些对象间的共同特征越多。该聚类方法只适合在小数据量的时候使用，数据量大的时候处理速度会非常慢。
KMeans聚类
K-Means：在最小化误差函数的基础上将数据划分为预定的类数K，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。
算法描述
①从N个样本数据中随机选取K个对象作为初始的聚类中心。
②分别计算每个样本到各个聚类中心的距离，将对象分配到距离最近的聚类中。
③所有对象分配完成后，重新计算K个聚类的中心。
④与前一次计算得到的K个聚类中心比较，如果聚类中心发生变化，转第②步。
⑤当质心不发生变化时停止并输出聚类结果。
聚类的结果可能依赖于初始聚类中心的随机选择，可能使得结果严重偏离全局最优分类。在实践中为了得到较好的结果，通常以不同的初始聚类中心，多次运行K-Means算法。在所有对象分配完成后，重新计算K个聚类的中心时，对于连续数据聚类中心取该簇的均值。
数据类型与属性度量
对于连续属性，要先对各属性值进行0-均值规范，再进行距离的计算。K-Means 聚类算法中，一般需要度量样本之间的距离、样本与簇之间的距离以及簇与簇之间的距离。
样本之间的相似性最常用的是欧几里得距离、曼哈顿距离和闵可夫斯基距离。
样本与簇之间的距离可以用样本到簇中心的距离$d\left(e_{i,}, x\right)$
簇与簇之间的距离可以用簇中心的距离$d\left(e_{i}, e_{j}\right)$
用p个属性来表示n个样本的数据矩阵：$$\left[\begin{array}{ccc}{x_{11}} & {\cdots} & {x_{1 p}} \\ {\vdots} & {} & {\vdots} \\ {x_{n 1}} & {\cdots} & {x_{n p}}\end{array}\right]$$
欧几里得距离的计算公式为：$$d(i, j)=\sqrt{\left(x_{i 1}-x_{j 1}\right)^{2}+\left(x_{i 2}-x_{j 2}\right)^{2}+\cdots+\left(x_{i p}-x_{j p}\right)^{2}}$$
曼哈顿距离的计算公式为：$$d(i, j)=\left|x_{i+}-x_{j 1}\right|+\left|x_{2}-x_{j 2}\right|+\cdots+\left|x_{i p}-x_{i p}\right|$$
闵可夫斯基距离的计算公式为：$$d(i, j)=\sqrt[q]{\left|\left(x_{i 1}-x_{j 1} |\right)^{q}+\left(\left|x_{i 2}-x_{j 2}\right|\right)^{q}+\cdots+\left(\left|x_{i p}-x_{j p}\right|\right)^{q}\right.}$$
q为正整数，q=1时为曼哈顿距离；q=2时为欧几里得距离。
对于文档数据，使用余弦相似性度量，先将文档数据整理成文档一词矩阵格式。
两个文档之间的相似度的计算公式为：$d(i, j)=\cos (i, j)=\frac{\vec{i} g \vec{j}}{|\vec{i}| g|\vec{j}|}$
目标函数
使用误差平方和SSE(残差平方和)作为度量聚类质量的目标函数，对于两种不同的聚类结果，可选择误差平方和较小的分类结果。
连续属性的SSE计算公式为：$$S S E=\sum_{i=1}^{K} \sum_{x \in E_{i}} \operatorname{dist}\left(e_{i,} x\right)^{2}$$
文档数据的SSE计算公式为：$$S S E=\sum_{i=1}^{K} \sum_{x \in E_{i}} \cos i n e\left(e_{i}, x\right)^{2}$$
簇$E_{i}$的聚类中心$e_{i}$的计算公式为：$$e_{i}=\frac{1}{n_{i}} \sum_{\dot{x} \in E_{i}} x$$
$K$表示聚类簇的个数，$E_{i}$表示第$i$个簇，$x$表示样本，$e_{i}$表示聚类中心，$n$表示数据集中样本的个数，$n_{i}$表示第$i$个簇中样本的个数。
例子
根据顾客的一些消费行为特性数据，将顾客进行聚类，并评价不同顾客群体的价值。
采用K-Means聚类算法，设定聚类个数K为3，最大迭代次数为500次，距离函数取欧氏距离。
%% 使用K-Means算法聚类消费行为特征数据 clear ; % 参数初始化 inputfile = '../data/consumption_data.xls'; % 销量及其他属性数据 k = 3; % 聚类的类别 iteration =500 ; % 聚类最大循环次数 distance = 'sqEuclidean'; % 距离函数 %% 读取数据 [num,txt]=xlsread(inputfile); data = num(:,2:end); %% 数据标准化 data = zscore(data); %% 调用kmeans算法 opts = statset('MaxIter',iteration); [IDX,C,~,D] = kmeans(data,k,'distance',distance,'Options',opts); %% 打印结果 for i=1:k disp(['第' num2str(i) '组聚类中心为：']); disp(C(i,:)); end disp('K-Means聚类算法完成！');
计算得到聚类中心为：
