时间戳

首页 > 解决方案 > 如何将 Google Datastore CompositeFilter 与 Dataflow 结合使用？

google-cloud-datastore - 如何将 Google Datastore CompositeFilter 与 Dataflow 结合使用？

问题描述

当从 Datastore 读取数据作为管道的输入时，我可以创建一个“简单”查询，在其中我在单个属性上设置一个过滤器，如下所示：

Pipeline p = ...
Filter filter = Filter.newBuilder()
        .setPropertyFilter(PropertyFilter.newBuilder()
                .setProperty(PropertyReference.newBuilder()
                        .setName("propertyA"))
                .setOp(PropertyFilter.Operator.EQUAL)
                .setValue(Value.newBuilder().setStringValue("valueA").build())
                .build())
        .build();

Query query = Query.newBuilder()
    .addKind(KindExpression.newBuilder().setName("myKind").build())
                .setFilter(filter)
                .build();
p.apply("read", DatastoreIO.v1().read().withProjectId("myProjectId")
                .withNamespace("myNamespace").withQuery(query)).apply(.....

当我尝试通过连接“setFilter()”调用在查询上应用多个过滤器时，只有最后一个设置的过滤器被应用于查询。

经过一些研究，我发现了一个 CompositeFilter，它应该能够组合多个过滤器。我可以构建一个复合过滤器，但是当我想在查询中将它设置为过滤器时，IDE 会抱怨类型不匹配，并且似乎没有另一种应用过滤器的方法。

我设法通过使用 GQL 使用具有多个过滤器的查询，并且可以在日志中看到它已转换为 CompositeFilter。我不是在这里抱怨，因为 GQL 的使用比手动构建查询/过滤器要好得多，但我想问一下如何在 DatastoreIO.v1().read(. ...) 或者如果不可能。

我正在使用 com.google.cloud.dataflow/google-cloud-dataflow-java-sdk-all/2.2.0

谢谢您的帮助。

标签： google-cloud-datastoregoogle-cloud-dataflowapache-beam

解决方案

根据文档，您可以。您可以使用CompositeFilter newBuilder方法，并创建如下过滤器：

Filter composeFilter = Filter.newBuilder() .setCompositeFilter(CompositeFilter.newBuilder().addFilters(filter1).addFilters(filter2).build()).build();

这里的 Filter1 和 Filter2 是与您创建的过滤器类似的过滤器。我的 IDE 允许我这样做（我使用的是 IntelliJ IDEA，最新版本）。

推荐阅读