node.js - Firebase 函数 Node.js 转换流
问题描述
我正在创建一个 Firebase HTTP 函数,它进行 BigQuery 查询并返回查询结果的修改版本。该查询可能会返回数百万行,因此在响应 HTTP 客户端之前,我无法将整个查询结果存储在内存中。我正在尝试使用 Node.js 流,并且由于我需要在将结果发送到客户端之前对其进行修改,因此我正在尝试使用转换流。但是,当我尝试通过我的转换流传输查询流时,Firebase 函数崩溃并显示以下错误消息:finished with status: 'response error'
.
我的最小可重现示例如下。我正在使用缓冲区,因为我不想一次处理单行(块),因为我需要进行异步网络调用来转换数据。
return new Promise((resolve, reject) => {
const buffer = new Array(5000)
let bufferIndex = 0
const [job] = await bigQuery.createQueryJob(options)
const bqStream = job.getQueryResultsStream()
const transformer = new Transform({
writableObjectMode: true,
readableObjectMode: false,
transform(chunk, enc, callback) {
buffer[bufferIndex] = chunk
if (bufferIndex < buffer.length - 1) {
bufferIndex++
}
else {
this.push(JSON.stringify(buffer).slice(1, -1)) // Transformation should happen here.
bufferIndex = 0
}
callback()
},
flush(callback) {
if (bufferIndex > 0) {
this.push(JSON.stringify(buffer.slice(0, bufferIndex)).slice(1, -1))
}
this.push("]")
callback()
},
})
bqStream
.pipe(transform)
.pipe(response)
bqStream.on("end", () => {
resolve()
})
}
解决方案
在响应 HTTP 客户端之前,我无法将整个查询结果存储在内存中
不幸的是,在使用 Cloud Functions 时,这正是必须发生的事情。
响应负载有 10MB的记录限制,当您的代码继续写入响应时,它有效地存储在内存中。不支持请求和响应的流式传输。
一种替代方法是将您的响应写入 Cloud Storage 中的对象,然后向客户端发送对该文件的链接或引用,以便客户端可以从该对象中完整读取响应。
如果您需要发送大型流式响应,Cloud Functions 不是一个好的选择。Cloud Run 也同样受到限制。您将需要研究允许直接套接字访问的其他解决方案,例如 Compute Engine。
推荐阅读
- asp.net-core - DataAnnotationsValidator 不适用于自定义组件
- gltf - glTF中如何支持+Y up?
- mysql - MySQL:通过其他表中的值更新列值
- javascript - 如何在 PeerJs 中的对等方之间调用期间更改实时流?
- conditional-statements - Lisp - 无论如何执行“何时”条件?
- c# - System.ArgumentOutOfRangeException: '索引超出范围。必须是非负数且小于集合的大小。参数名称:索引'
- palantir-foundry - 通过 write_dataframe 添加列描述是否知道它运行的分支?
- ios - 致命错误:未找到 ButtonState 类型的 ObservableObject
- javascript - 如何仅在特定浏览器中加载脚本?
- caching - 即使清除缓存,Chrome 也会持续显示缓存页面