java - Parquet 到 ElasticSearchwrite

Question

我的镶木地板格式是 id。JSON，其中 id 是弹性搜索的 id，我想将 JSON 放入弹性搜索中。下面是它的 os 片段。

+---+--------------------+
|key|               value|
+---+--------------------+
|  6|{"FirstName":"pra...|
|  3|{"FirstName":["as...|
|  5|{"FirstName":"pra...|
|  4|{"FirstName":["pr...|
+---+--------------------+

我怎么能在Java中做到这一点？

标签： javaelasticsearch

Answer 1

'''

Dataset<Row> ds =spark.read().parquet(path);
JavaPairRDD<String, String> jpRDD = ds.toJavaRDD().mapToPair(new PairFunction<Row, String, String>() {
            public Tuple2<String, String> call(Row row) throws Exception {
                return new Tuple2<String, String>((String) row.get(0), (String) row.get(1));
            }
        });
JavaEsSpark.saveToEsWithMeta(jpRDD,pathofESIndice,ImmutableMap.of("es.input.json","true"));

'''