python - 查找数百万条记录的 Pearson 相关性

Question

我正在做一个 NLP 任务，其中我有一个按天分组的文本中出现的单词分布。我想找到给定单词与数据库中所有其他单词之间的 Pearson 相关性。是否可能有一些算法解决方案，而不仅仅是手动迭代数据库中的所有其他单词并计算相关性。可能与图表有关？

标签： pythonalgorithmgraphnlp

Answer 1

您可以使用 numpy 或 pandas（矢量化版本而不是遍历所有记录）。