在文档聚类过程中，作为数据预处理步骤，我首先应用奇异向量分解来获得U，S和Vt，然后通过选择适当数量的特征值，我截断了Vt，这使我从我读取的here中获得了良好的文档-文档相关性。现在，我正在对矩阵Vt的列执行聚类，以将类似的文档聚类在一起，为此，我选择了k-means，初始结果对我来说是可以接受的（k = 10个聚类），但我想在选择k值本身时更深入地挖掘。为了确定k-means中聚类k的数量，我使用suggested来查看交叉验证。
在实现它之前，我想弄清楚是否有一种内置的方法可以使用numpy或scipy来实现它。目前，我执行kmeans的方法是简单地使用scipy中的函数。
import numpy, scipy
# Preprocess the data and compute svd
U, S, Vt = svd(A) # A is the TFIDF representation of the original term-document matrix
# Obtain the document-document correlations from Vt
# This 50 is the threshold obtained after examining a scree plot of S
docvectors = numpy.transpose(self.Vt[0:50, 0:])
# Prepare the data to run k-means
whitened = whiten(docvectors)
res, idx = kmeans2(whitened, 10, iter=20)假设我的方法到目前为止是正确的（如果我遗漏了一些步骤，请纠正我），在这个阶段，使用输出执行交叉验证的标准方法是什么？任何关于如何将其应用于k-means的参考/实现/建议都将非常感谢。
3条答案
按热度按时间7hiiyaii1#
要运行k-fold交叉验证，您需要一些质量度量来优化。这可以是一个分类度量，如准确度或F1，也可以是一个专门的度量，如V-measure。
即使是我所知道的聚类质量度量也需要一个标记的数据集（“地面实况”）才能工作;与分类的区别在于，你只需要标记部分数据进行评估，而k-means算法可以使用所有数据来确定质心，从而确定聚类。
scikit-learn中实现了V-measure和其他几个分数，以及通用交叉验证代码和一个“网格搜索”模块，该模块根据使用k倍CV的指定评估措施进行优化。免责声明：我参与了scikit-learn的开发，尽管我没有写任何提到的代码。
owfi6suc2#
事实上，要使用F1-score或V-Measure作为评分函数进行传统的交叉验证，您需要一些标记数据作为基础事实。但在这种情况下，你可以只计算地面实况数据集中的类的数量，并将其用作K的最佳值，因此不需要交叉验证。
或者，您可以使用集群稳定性度量作为无监督的性能评估，并为此执行某种交叉验证过程。然而，这还没有在scikit-learn中实现，尽管它仍然在我的个人todo列表中。
你可以在metaoptimize.com/qa上找到关于这种方法的更多信息，特别是你应该阅读Clustering Stability: An Overview by Ulrike von Luxburg。
nkcskrwz3#
在这里，他们使用withinss来找到最佳的聚类数。“withinss”是返回的kmeans对象的属性。这可以用来找到一个最小的“错误”，
https://www.statmethods.net/advstats/cluster.html
这个公式并不完全正确。但我自己也在写。模型仍然会每次改变，但它至少会是一堆迭代中最好的模型。