python - 解释 HDBSCAN 聚类的行为
问题描述
我有一个包含 6 个元素的数据集。我使用 Gower 距离计算了距离矩阵,得到了以下矩阵:
通过查看这个矩阵,我可以看出元素#0 与元素#4 和#5 最相似,所以我假设 HDBSCAN 的输出是将它们聚集在一起,并假设其余的是异常值;然而,事实并非如此。
clusterer = hdbscan.HDBSCAN(min_cluster_size=2, min_samples=3, metric='precomputed',cluster_selection_epsilon=0.1, cluster_selection_method = 'eom').fit(distance_matrix)
形成的集群:
集群 0: {元素 #0,元素 #2}
集群 1: {元素 #4,元素 #5}
异常值: {元素#1,元素#3}
这是我不明白的行为。此外,这两个参数似乎都对我的结果没有影响cluster_selection_epsilon
,cluster_selection_method
我不明白为什么。
我尝试再次将参数更改为min_cluster_size=2, min_samples=1
形成的集群:
集群 0: {元素#0,元素#2,元素#4,元素#5}
集群 1: {元素 #1,元素 #3}
参数的任何其他变化都会导致所有点都被归类为异常值。
cluster_selection_epsilon
有人可以帮助解释这种行为,并解释为什么cluster_selection_method
不影响形成的集群。我认为通过设置cluster_selection_epsilon
为 0.1,我将确保群集内的点之间的距离为 0.1 或更小(例如,元素 #0 和元素 #2 不会聚集在一起)
解决方案
正如帮助页面中提到的,hdbscan 的核心是 1)计算相互可达距离和 2)应用单链接算法。由于您没有那么多数据点并且您的距离度量是预先计算的,您可以看到您的聚类是由单个链接决定的:
import numpy as np
import hdbscan
import matplotlib.pyplot as plt
import seaborn as sns
x = np.array([[0.0, 0.741, 0.344, 1.0, 0.062, 0.084],
[0.741, 0.0, 0.648, 0.592, 0.678, 0.657],
[0.344, 0.648, 0.0, 0.648, 0.282, 0.261],
[1.0, 0.592, 0.655, 0.0, 0.937, 0.916],
[0.062, 0.678, 0.282, 0.937, 0.0, 0.107],
[0.084, 0.65, 0.261, 0.916, 0.107, 0.0]])
clusterer = hdbscan.HDBSCAN(min_cluster_size=2,min_samples=1,
metric='precomputed').fit(x)
clusterer.single_linkage_tree_.plot(cmap='viridis', colorbar=True)
结果将是:
clusterer.labels_
[0 1 0 1 0 0]
因为集群的最小数量必须是 2。所以实现这一点的唯一方法是将元素 0、2、4、5 放在一起。
一种快速的解决方案是简单地切割树并获得您想要的集群:
clusterer.single_linkage_tree_.get_clusters(0.15, min_cluster_size=2)
[ 0 -1 -1 -1 0 0]
或者您只需使用 sklearn.cluster.AgglomerativeClustering 中的某些内容,因为您不依赖 hdbscan 来计算距离指标。
推荐阅读
- laravel - 如何在一个模型中使用多个表?
- signalr - 用户注销时如何断开与 SignalR 的连接?
- mysql - 带有超链接的 CodeIgniter 数据表
- azure - 如何停止运行 Azure Web App 的多个应用程序见解?
- javascript - 如何使用长参数列表保持 javascript 代码简单和有条理?
- python - 使用 Python 在 Apache Solr 中插入文档(格式:json)时出错
- angular - 如何在对象而不是字符串中存储和设置 mat-input 的值
- java - 如何从存储在接口文件中的数组中选择随机元素?
- c# - 即使在访问令牌续订后,Angular 应用程序也会自动注销
- html - 两个 span 的背景色,需要用相同的颜色填充中间的空间