时间戳

首页 > 解决方案 > 谷歌云存储对象上的 creategunzip()

node.js - 谷歌云存储对象上的 creategunzip()

问题描述

所以我将 JSON 格式的备份文件上传到谷歌云存储桶。服务器是 NodeJS。为了节省空间，我想在上传之前压缩文件。

我上传文件的功能是：

    const bufferStream = new stream.PassThrough()
    bufferStream.end(Buffer.from(req.file.buffer, 'utf8'))
    const bucket = storage.bucket('backups')
    const filename = 'backup.json.gz'
    const file = bucket.file(filename)
    const writeStream = file.createWriteStream({
        metadata: {
            contentType: 'application/json',
            contentEncoding: 'gzip'
        },
        validation: "md5"
    })
    bufferStream.pipe(zlib.createGzip()).pipe(writeStream).on('finish', async () => {
        return res.status(200).end()
    })

此功能有效。我在下载时解压缩有问题。我在这里的功能是：

    const bucket = storage.bucket('backups')
    let backup = ''
    const readStream = bucket.file('backup.json.gz').createReadStream()
    readStream.pipe(zlib.createGunzip()) // <-- here
    readStream.on('data', (data) => {
        backup += data
    })
    readStream.on('end', () => {
        res.status(200).send(backup).end()
    })

当我使用下载功能时，我收到以下错误：

Error: incorrect header check
Errno: 3
code: Z_DATA_ERROR

当我删除 createGunzip() 函数时，一切正常！我什至可以读取文件的内容，但出于某种原因，我认为这可能不是理想的解决方案。现在，为了测试，我有最大的文件。文件大小为 50kB，但可能会在生产中获得 > 10Mb 的文件。

createGunzip() 函数是否需要缓冲区？还是有其他问题？

谢谢！

标签： node.jsgoogle-cloud-storagezlib

解决方案

根据文档，如果您的对象已正确压缩和上传，则返回的对象将自动解压缩，这就是您的情况不需要压缩的原因。

如果您想按原样接收文件，那么您应该Accept-Encoding: gzip在请求中包含标题。

推荐阅读