r - 将数据复制到 Spark 环境

Question

我正在尝试将我的数据复制到 spark 并收到以下错误

as.data.frame.default(x, stringsAsFactors = FALSE, row.names = FALSE, 中的错误：无法将类“structure("SparkDataFrame", package = "SparkR")" 强制转换为 data.frame

我查看了文档，发现没有任何帮助

library(SparkR)
DF <- read.df("/FileStore/tables/export.csv", source = "csv", header="true", inferSchema = "true")

library(sparklyr)
library(dplyr)
sc <- spark_connect(method = "databricks")
#This gives the above error
DF_tbl <- sdf_copy_to(sc = sc, x = DF, overwrite = T)

标签： rapache-sparksparkrsparklyrazure-databricks

Answer 1

我无法在没有访问权限的情况下对此进行测试export.csv，但问题可能来自将SparkR函数（即, read.df()）与sparklyr函数（即和）spark_connect()混合使用sdf_copy_to()。

我猜它sparklyr::sdf_copy_to()不接受 SparkR 的“SparkDataFrame”类的对象。

尝试用SparkR::read.df()类似的东西替换readr::read_csv()or data.table::fread()。