r - 找到计算 R 中数百万个组合的最高可能 Pearson 相关性的最佳方法

Question

我正在处理一个大型数据集。但是，我将从一个小例子开始说明我想要实现的目标。

我有以下向量：

season <- c("2019")
round <- c("1")
team <- c("Team A", "Team B", "Team C")
margin <- c(33, 56, 63)
score_A <- c(0.330, 0.256, 0.118)
score_B <- c(0.584, 0.176, 0.342)
score_C <- c(0.118, 0.193, 0.286)

我创建了一个这样的数据框：

df1 <- data.frame(season, round, team, score_A, score_B, score_C, margin)

然后我将权重应用于每个分数，例如：

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.5
df1$score_C <- df1$score_C * 0.75

然后我将所有分数相加并创建一个团队总分：

df1$score_total <- df1$score_A + df1$score_B + df1$score_C

library(dplyr)
df1 <- df1%>%group_by(season, round, team)%>%dplyr::mutate(score_Team_Total=sum(score_total))

我知道我可以像这样计算皮尔逊：

> cor(df1$margin, df1$score_Team_Total, method = "pearson")
[1] -0.5505451

尽管这并没有给我逐行返回，但我还不太确定如何计算。

然而，这就是它开始变得棘手的地方。

我有许多权重，我想将这些权重应用于每个分数，如下所示：

weightings <- c(0.25,0.5,0.75,1,1.25,1.5,2,2.5,3)

而且我为每个权重设置了多个分数（从 score_A 到 score_R）。

第一个组合是：

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.25
df1$score_C <- df1$score_C * 0.25

第二种组合是：

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.25
df1$score_C <- df1$score_C * 0.5

第三种组合是：

df1$score_A <- df1$score_A * 0.25
df1$score_B <- df1$score_B * 0.5
df1$score_C <- df1$score_C * 0.5

等等。

但是如何获得每个组合的 Pearson 相关性并返回可能的最高 Pearson？

我知道会有数以百万计的组合，因为我运行了这个：

> length(permutations(7, 9, repeats.allowed = TRUE))
[1] 363182463

但我的权重中有 9 个不同的变量（0.25,0.5,0.75,1,1.25,1.5,2,2.5,3）和 18 个不同的分数（score_A 到 score_R）。

所以当我尝试时：

> length(permutations(9, 18, repeats.allowed = TRUE))

我收到了这个错误：

Error: cannot allocate vector of size 73.7 Gb

所以我知道这个数字会非常大。

我需要将每个权重组合应用于分数，然后创建总数并计算 Pearson。

我认为带有结果的数据框或列表会太大，那么有没有办法返回最佳组合？输出看起来像：

            score_A   score_B   score_C   pearson
weighting     0.25      0.50      0.25    0.63

我对 R 和学习仍然很陌生，所以我不太确定从这里去哪里。

标签： r

Answer 1

您应该意识到您正在尝试探索9^18排列，即：

options(scipen = 999)
9^18
# [1] 150094635296999136

探索其中的一个子集怎么样？以下代码生成18^7您的组合weightings：

set.seed(1)
n_scores <- 18
p <- 7
aux <- matrix(sample(weightings, n_scores^p, replace = TRUE), ncol = n_scores)
# First combination
aux[1,]
 [1] 3.00 2.00 0.50 1.00 1.25 2.00 1.50 2.50 0.25 0.75 3.00 2.50 1.25 3.00
[15] 0.75 2.50 0.50 0.50

然后，您可以多次重复这个较小的探索，并查看几个最佳组合的相似性以获得一些见解。

根据@Michael 的评论进行编辑：

首先，我修改您的玩具示例以增加一行：

season <- c("2019")
round <- c("1")
team <- c("Team A", "Team B", "Team C", "Team D")
margin <- c(33, 56, 63, 50)
score_A <- c(0.330, 0.256, 0.118, 0.2)
score_B <- c(0.584, 0.176, 0.342, 0.15)
score_C <- c(0.118, 0.193, 0.286, 0.2)
df1 <- data.frame(season, round, team, score_A, score_B, score_C, margin)

然后，我生成 9 组权重：

weightings <- c(0.25,0.5,0.75,1,1.25,1.5,2,2.5,3)
set.seed(1)
n_scores <- 3
p <- 3
aux1 <- matrix(sample(weightings, n_scores^p, replace = TRUE), ncol = n_scores)
colnames(aux1) <- c("score_A", "score_B", "score_C")

最后，我执行主要操作

aux2 <- cbind(df1$score_A, df1$score_B, df1$score_C)
df2 <- data.frame(aux1, 
                  pearson = c(cor(df1$margin, apply(aux1, 1, function(x) rowSums(t(x*t(aux2)))))))
df2
#   score_A score_B score_C    pearson
# 1    3.00    1.25    1.25 -0.8473964
# 2    1.00    1.25    1.25 -0.6385250
# 3    2.00    1.50    0.50 -0.8222945
# 4    0.25    2.00    3.00 -0.2510155
# 5    0.50    3.00    0.25 -0.6804298
# 6    2.00    1.25    1.00 -0.8025296
# 7    0.50    1.25    0.75 -0.6260844
# 8    0.75    3.00    1.50 -0.6088807
# 9    0.25    3.00    1.50 -0.5591034

编辑@Michael的第二条评论：

aux2如上创建后，生成aux3如下。aux3您将拥有与您正在探索的权重集数量一样多的列，w_x还有df1您下一次计算所需的原始列。每个w_x都是分数的加权总和：

aux3 <- apply(aux1, 1, function(x) rowSums(t(x*t(aux2))))
colnames(aux3) <- paste0("w_", 1:ncol(aux3))
df1 %>%
  select(season, round, team, margin) %>%
  cbind(aux3) -> aux3
aux3
#   season round   team margin     w_1     w_2    w_3    w_4     w_5    w_6
# 1   2019     1 Team A     33 1.86750 1.20750 1.5950 1.6045 1.94650 1.5080
# 2   2019     1 Team B     56 1.22925 0.71725 0.8725 0.9950 0.70425 0.9250
# 3   2019     1 Team C     63 1.13900 0.90300 0.8920 1.5715 1.15650 0.9495
# 4   2019     1 Team D     50 1.03750 0.63750 0.7250 0.9500 0.60000 0.7875
#       w_7    w_8    w_9
# 1 0.98350 2.1765 2.0115
# 2 0.49275 1.0095 0.8815
# 3 0.70100 1.5435 1.4845
# 4 0.43750 0.9000 0.8000