时间戳

首页 > 解决方案 > 如何在 Apache Beam 管道中记录传入消息

google-cloud-dataflow - 如何在 Apache Beam 管道中记录传入消息

问题描述

我正在编写一个简单的 apache 光束流管道，从 pubsub 主题获取输入并将其存储到 bigquery 中。几个小时以来，我以为我什至无法阅读消息，因为我只是试图将输入记录到控制台：

events = p | 'Read PubSub' >> ReadFromPubSub(subscription=SUBSCRIPTION)
logging.info(events)

当我将其写入文本时，它工作正常！然而我的电话logger从来没有发生过。

人们如何开发/调试这些流媒体管道？

我尝试添加以下行： events | 'Log' >> logging.info(events)

使用print()也不会在控制台中产生任何结果。

标签： google-cloud-dataflowapache-beamgoogle-cloud-pubsubapache-beam-io

解决方案

这是因为events是 aPCollection所以你需要PTransform对它应用 a 。

最简单的方法是将 aParDo应用于events：

events | 'Log results' >> beam.ParDo(LogResults())

定义为：

class LogResults(beam.DoFn):
  """Just log the results"""
  def process(self, element):
    logging.info("Pub/Sub event: %s", element)
    yield element

请注意，如果您想在下游应用进一步的步骤，例如在记录元素后写入接收器，我也会生成元素。例如，请参阅此处的问题。

推荐阅读