r - 当数据集在 sparklyr 中时,为什么我不能在 dplyr 中使用双冒号运算符?
问题描述
一个可重现的例子(改编自@forestfanjoe 的回答):
library(dplyr)
library(sparklyr)
sc <- spark_connect(master = "local")
df <- data.frame(id = 1:100, PaymentHistory = runif(n = 100, min = -1, max = 2))
df <- copy_to(sc, df, "payment")
> head(df)
# Source: spark<?> [?? x 2]
id PaymentHistory
* <int> <dbl>
1 1 -0.138
2 2 -0.249
3 3 -0.805
4 4 1.30
5 5 1.54
6 6 0.936
fix_PaymentHistory <- function(df){df %>% dplyr::mutate(PaymentHistory = dplyr::if_else(PaymentHistory < 0, 0, dplyr::if_else(PaymentHistory > 1,1, PaymentHistory)))}
df %>% fix_PaymentHistory
错误是:
Error in dplyr::if_else(PaymentHistory < 0, 0, dplyr::if_else(PaymentHistory > :
object 'PaymentHistory' not found
我正在使用范围运算符,因为我担心其中的名称dplyr
会与某些用户定义的代码发生冲突。请注意,这PaymentHistory
是 中的列变量df
。
运行以下代码时不存在相同的错误:
fix_PaymentHistory <- function(df){
df %>% mutate(PaymentHistory = if_else(PaymentHistory < 0, 0,if_else(PaymentHistory > 1,1, PaymentHistory)))
}
> df %>% fix_PaymentHistory
# Source: spark<?> [?? x 2]
id PaymentHistory
* <int> <dbl>
1 1 0
2 2 0
3 3 0
4 4 1
5 5 1
6 6 0.936
7 7 0
8 8 0.716
9 9 0
10 10 0.0831
# ... with more rows
解决方案
TL;DR因为您的代码根本不使用dplyr::if_else
。
sparklyr
,当在示例中使用时,将 Spark 视为另一个数据库并使用dbplyr
SQL 转换层发出查询。
在这种情况下if_else
,不被视为函数,而是被转换为 SQL 原语的标识符:
dbplyr::translate_sql(if_else(PaymentHistory < 0, 0,if_else(PaymentHistory > 1,1, PaymentHistory)))
# <SQL> CASE WHEN ("PaymentHistory" < 0.0) THEN (0.0) WHEN NOT("PaymentHistory" < 0.0) THEN (CASE WHEN ("PaymentHistory" > 1.0) THEN (1.0) WHEN NOT("PaymentHistory" > 1.0) THEN ("PaymentHistory") END) END
但是如果你传递一个完全限定的命名,它会绕过这个机制,尝试评估函数,最终失败,因为数据库列不在范围内。
恐怕 dplyr 中的名称会与一些用户定义的代码发生冲突。
如您所见,这里根本不需要 dplyr ——在sparklyr
管道中调用的函数要么被转换为相应的 SQL 结构,要么如果没有特定的转换规则,则按原样传递并由 Spark SQL 解析引擎(此路径用于调用Spark 函数)。
当然,这种机制不是特定于的sparklyr
,您可能会在使用由数据库支持的其他表时看到相同的行为:
library(magrittr)
db <- dplyr::src_sqlite(":memory:", TRUE)
dplyr::copy_to(db, mtcars)
db %>% dplyr::tbl("mtcars") %>% dplyr::mutate(dplyr::if_else(mpg < 20, 1, 0))
Error in dplyr::if_else(mpg < 20, 1, 0) : object 'mpg' not found
推荐阅读
- java - netty-tcnative 没有在 jdk.tls.disabledAlgorithms 中选择配置
- mysql - 如何通过mysql查询计算中位数
- java - 将 TabBar 的 tabItem 放在中间,单击下一个选项卡时,它会开始向左移动?
- regex - 正则表达式:将货币金额(从各种格式)转换为有效的浮点数
- pivot - 选择枢轴进行快速排序的更好方法是什么?
- android - TextView 在运行应用程序时消失,但在设计模式下可见
- javascript - 从 php 和 phpmailer 获取数据
- plot - 在散景中使用数据线宽
- arrays - 从 BiQuery 数据 JSON 中的数组中提取索引值
- google-apps-script - 如何在 Data Studio 中嵌入使用 Apps 脚本创建的 Web 应用程序?