node.js - 谷歌云功能不在 PubSub 上发布,超时
问题描述
首先感谢您阅读本文并尝试回答:)
在 GCP(谷歌云平台)上,我有一个存储在云 SQL 上的数据库,
2个云功能,第一个用于向数据库发出请求(此请求可以有超过1000个结果)然后将结果发布到PubSub上,第二个用于通过puppeteer进行网络抓取。
第一个云函数代码:
//[Requirement]
const mysql = require('mysql')
const {SecretManagerServiceClient} = require('@google-cloud/secret-manager')
const ProjectID = process.env.secretID
const SqlPass = `projects/xxx`
const client = new SecretManagerServiceClient()
const {PubSub} = require('@google-cloud/pubsub');
const pubSubClient = new PubSub();
const topicName = "xxxxxx";
//[/Requirement]
exports.LaunchAudit = async () => {
const dbSocketPath = "/cloudsql"
const DB_USER = "xxx"
const DB_PASS = await getSecret()
const DB_NAME = "xxx"
const CLOUD_SQL_CONNECTION_NAME = "xxx"
//[SQL CONNEXION]
let pool = mysql.createPool({
connectionLimit: 1,
socketPath: `${dbSocketPath}/${CLOUD_SQL_CONNECTION_NAME}`,
user: DB_USER,
password: DB_PASS,
connectTimeout: 500,
database: DB_NAME
})
//[/SQL CONNEXION]
//set the request
let sql = `select * from * where *;`
//make the setted request
await pool.query(sql, async (e,results) => {
//if there is an error send it
if(e){
throw e
}
//for each result of the query, log it and publish on PubSub ("Audit-property" topic)
results.forEach(async element => {
console.log(JSON.stringify(element))
await msgPubSub(JSON.stringify(element))
})
})
}
async function msgPubSub(data){
//console.log(data)
const messageBuffer = Buffer.from(data)
try {
const topicPublisher = await pubSubClient.topic(topicName).publish(messageBuffer)
console.log("Message id: " + topicPublisher)
} catch (error) {
console.error(`Error while publishing message: ${error.message}`)
}
}
首先,当它工作时,在 PubSub 主题上发布第一条消息需要很长时间,大约 6 分钟,为什么会有这种延迟?当我提出一个大请求时(比如 500+ 个结果),我遇到了超时错误:Total timeout of API google.pubsub.v1.Publisher exceeded 600000 milliseconds before any response was received.
我尝试发布批量消息,向云函数添加一些内存,使用 google-gax,但得到了相同的结果。
我正在使用nodejs10。
第二个云函数消息部分代码:
exports.MainAudit = async message => {
const property = Buffer.from(message.data, 'base64').toString()
const pProperty = JSON.parse(property)
console.log(property)
}
package.json 依赖:
"dependencies": {
"@google-cloud/pubsub": "^2.6.0",
"@google-cloud/secret-manager": "^3.2.0",
"google-gax": "^2.9.2",
"mysql": "^2.18.1",
"node-fetch": "^2.6.1"
}
解决方案
就像现在的代码一样,您正在为您发布的每条消息创建一个新的发布者实例。这是因为pubSubClient.topic(topicName)
创建了一个发布到主题的实例。因此,您要为发送的每条消息支付建立连接的开销。相反,您希望一次创建该对象并重用它:
const pubSubClient = new PubSub();
const topicName = "xxxxxx";
const topicPublisher = pubSubClient.topic(topicName)
但是,由于使用await
onpublish
调用和对msgPubSub
. Pub/Sub 客户端库可以将消息批处理在一起r 以更有效地发送,但您需要允许多个调用publish
处于未完成状态才能利用它。你会想要从发布返回的承诺列表中的await
一个。Promise.all
推荐阅读
- python - 整数值不变
- mysql - 休眠创建表但没有影响
- arrays - 从 api 获取数据但得到的属性 'data' 在类型 'object' 上不存在
- mysql - MySQL Join 查询:两个主表和一个链接表
- javascript - Sizzle 和 document.querySelectorAll 有什么区别
- devops - 无法使用 Google Cloud 构建在 Firebase 上部署应用程序!收到错误“执行用户进程导致“没有这样的文件或目录”
- angular - .pipe(take(1)) 在这里有什么作用?
- html - 如何在svg中填充矩形内的矩形?
- sass - 更改按钮填充覆盖 sass 变量
- python - 从字符串中条件提取子字符串