google-cloud-platform - PubSub 确认截止日期
问题描述
我有一个云功能,它向 PubSub 发布消息并触发云运行以执行存档文件过程。当有大文件时,我的云运行 python 代码需要一些时间来处理数据,看起来 PubSub 在 20 秒(默认确认截止时间)后重试消息,这会从我的云运行触发另一个实例。我已将确认截止日期增加到 600 秒并重新部署了所有内容,但它仍在 20 秒后重试消息。我错过了什么?
Cloud Function 发布消息代码:
# Publishes a message
try:
publish_future = publisher.publish(topic_path, data=message_bytes)
publish_future.result() # Verify the publish succeeded
return 'Message published.'
except Exception as e:
print(e)
return (e, 500)
云运行代码:
@app.route("/", methods=["POST"])
def index():
envelope = request.get_json()
if not envelope:
msg = "no Pub/Sub message received"
print(f"error: {msg}")
return f"Bad Request: {msg}", 400
if not isinstance(envelope, dict) or "message" not in envelope:
msg = "invalid Pub/Sub message format"
print(f"error: {msg}")
return f"Bad Request: {msg}", 400
pubsub_message = envelope["message"]
if isinstance(pubsub_message, dict) and "data" in pubsub_message:
#Decode base64 event['data']
event_data = base64.b64decode(pubsub_message['data']).decode('utf-8')
message = json.loads(event_data)
#logic to process data/archive
return ("", 204)
解决方案
您应该能够通过设置 minimumBackoff retrypolicy来控制重试。您可以将 minimumBackoff 时间设置为最大 600 秒,例如您的确认截止时间,这样重新传递的消息将超过 600 秒。这应该会减少您看到的出现次数。
要处理重复项,建议使您的订阅者具有幂等性。您需要应用某种代码检查来查看 messageId 之前是否已处理。
您可以在文档at-least-once-delivery中找到以下内容:
通常,Pub/Sub 按照发布的顺序交付每条消息一次。但是,有时可能会乱序或多次传递消息。通常,容纳多次传递要求您的订阅者在处理消息时是幂等的。您可以使用 Apache Beam 编程模型实现对 Pub/Sub 消息流的一次性处理。Apache Beam I/O 连接器让您可以通过受控的源和接收器与 Cloud Dataflow 进行交互。您可以使用 Apache Beam PubSubIO 连接器(适用于 Java 和 Python)从 Cloud Pub/Sub 中读取数据。您还可以通过 Cloud Dataflow 使用服务的标准排序 API 来实现有序处理。或者,为了实现排序,您订阅的主题的发布者可以在消息中包含一个序列令牌。
推荐阅读
- php - Jquery 只读取循环中的第一个元素
- sql - Oracle 数据库 - REF 不受支持的数据类型
- python - 以一对多关系查询
- javascript - FormattedHTMLMessage 在包更新后不起作用(寻找替代/修复)
- ruby-on-rails - 无法通过“admin-delete-user-account”测试
- python - 组合框的Python Tkinter get()值没有改变
- sql - 如何使用 SQL 使用 DB2 中现有的 Holiday 表将字段更新到下一个工作日
- python - 使用 pd.groupby 创建两列
- python - CSV Python 列表
- gcc - arm-none-eabi-gcc:错误:无法识别的命令行选项“--cref”;你的意思是'--xref'吗?