时间戳

首页 > 解决方案 > 使用 http post 流式传输二进制文件

node.js - 使用 http post 流式传输二进制文件

问题描述

我正在使用请求库使用 http post 在请求正文中发送二进制（pdf）文件（注意：此 API 不接受多部分表单）。但是，我只能使用fs.readFilesync(). 出于某种原因，当我尝试使用fs.createReadStream()pdf 文件时，它仍然被发送，但它是空的，并且请求永远不会完成（我永远不会从服务器得到响应）。

这是我使用的工作版本fs.readFileSync()：

const request = require('request');
const fs = require('fs');

const filename = 'test.pdf';

request({
    url: 'http://localhost:8083/api/v1/endpoint',
    method: 'POST',
    headers: {
        'Content-Type': 'application/octet-stream',
        'Accept': 'application/vnd.api+json',
        'Content-Disposition': `file; filename="${filename}"`
    },
    encoding: null,
    body: fs.readFileSync(filename)
}, (error, response, body) => {
    if (error) {
        console.log('error:', error);
    } else {
        console.log(JSON.parse(response.body.toString()));
    }
});

如果我尝试用以下内容替换主体，则它不起作用：

body: fs.createReadStream(filename)

我也尝试将 http 请求通过管道传输到流中，就像它在请求库文档中所说的那样，但我得到了相同的结果：

fs.createReadStream(filename).pipe(request({...}))

我尝试通过执行以下操作来监视流：

var upload = fs.createReadStream('test.pdf');

upload.pipe(req);

var upload_progress = 0;
upload.on("data", function (chunk) {
    upload_progress += chunk.length
    console.log(new Date(), upload_progress);
})

upload.on("end", function (res) {
    console.log('Finished');
    req.end();
})

我看到了流的进度 和Finished，但仍然没有从 API 返回响应。

我更喜欢创建一个读取流，因为可以更好地处理更大的文件，但我不知道出了什么问题。我确保我不会使用任何特殊编码更改文件。

有没有办法得到某种输出来看看什么过程永远需要？

更新：

我决定用一个简单的 1 KB.txt文件进行测试。我发现它仍然是空的fs.createReadStream()，但是，这次我从服务器得到了响应。我正在使用的测试 PDF 为 363 KB，大小不算大，但仍然......不是为大文件制作的流吗？使用fs.readFileSync()也适用于文本文件。

我开始怀疑这是否是同步与异步的问题。我知道这fs.readFileSync()是同步的。fs.createReadStream()在尝试将其附加到正文之前，我是否需要等到完成？

标签： node.jsnode-request

解决方案

我能够通过执行以下操作来完成此工作：

const request = require('request');
const fs = require('fs');

const filename = 'test.pdf';

const readStream = fs.createReadStream(filename);

let chunks = [];
readStream.on('data', (chunk) => chunks.push(chunk));
readStream.on('end', () => {
    const data = Buffer.concat(chunks);

    request({
        url: 'http://localhost:8083/api/v1/endpoint',
        method: 'POST',
        headers: {
            'Content-Type': 'application/octet-stream',
            'Accept': 'application/vnd.api+json',
            'Content-Disposition': `file; filename="${filename}"`
        },
        encoding: null,
        body: data
    }, (error, response, body) => {
        if (error) {
            console.log('error:', error);
        } else {
            console.log(JSON.parse(response.body.toString()));
        }
    });
});

在发出请求之前，我将数据分块并与缓冲区连接起来。

我在文档中注意到它是这样说的：

Buffer 类是作为 Node.js API 的一部分引入的，以实现与 TCP 流、文件系统操作和其他上下文中的八位字节流的交互。

我正在调用的 API 需要application/octet-stream标头，因此我需要使用缓冲区而不是直接流式传输它。

推荐阅读