apache-crunch - 将 apache crunch Pcollection 写入多个输出文件
问题描述
我有一个紧缩的 dofn 生成一个 Pcollection,当前我将 pcollection 写入单个 avro 文件我想将 Pcollection 写入多个文件。
PCollection<String> generatedResults = results.parallelDo(new AvroGeneratorDofn(count),Avros.specifics(String.class));
//generatedResults.write(To.avroFile(outputPath));
pipeline.write(generatedResults,new AvroFileTarget(outputPath), Target.WriteMode.APPEND);
解决方案
相同的 PCollection 可以写入任意数量的目标,
generatedResults.write(To.avroFile(outputPath));
generatedResults.write(new AvroFileTarget(outputPath), Target.WriteMode.APPEND);
正如单个 Pipeline 实例可以从多个 Source 读取数据一样,Pipeline 也可以为每个 PCollection 写入多个输出。
推荐阅读
- r - 升级到 0.7.0 时出现 R shinyMobile 错误
- python - 如何动态处理多个列表图?
- c# - 当我尝试从 Zxing 库中保存 QR 码时,BarcodeWriter 类出现错误
- mysql - 尝试添加索引时 MySQL 错误“无法删除索引”
- spring-boot - Spring Boot2.0 - @SessonScope 无法更新且未反映在 HttpSession 中
- ios - 如何更改 UITableViewCell 宽度?
- angular - Angular 中的条件模板属性绑定
- r - 如何在 R 中计算此数据框的行和列?
- php - 无法将文件从 nodejs 应用程序发送到 php 端点
- docker - 将新容器映像部署到 GCP 上的自动缩放托管实例组的最佳实践?