java - ElasticSearchJSON 输出到镶木地板文件

Question

我正在以 JSON 格式读取 ElasticSearch 索引数据，并希望将其保存为镶木地板。下面是代码： ''' JavaPairRDD<String,String> esRDD = JavaEsSpark.esJsonRDD(jsc, "companydatabase/employees"); '''

如何将 JavaPairRDD<String,String> 转换为 Java 中的数据集。输出格式类似于 C1 JSON1 JSON2

标签： javajsonelasticsearch

Answer 1

JavaPairRDD<String,String> esRDD = JavaEsSpark.esJsonRDD(jsc,esPath);
 Dataset<Row> df = spark.createDataset(esRDD.collect(), Encoders.tuple(Encoders.STRING(),Encoders.STRING())).toDF("key","value");
 df.write().mode("overwrite").save(ParquetPath);