时间戳

首页 > 解决方案 > 使用签名链接的 S3 大文件上传

java - 使用签名链接的 S3 大文件上传

问题描述

我正在尝试使用签名链接将一个非常大的文件（超过 10G）上传到 S3。该链接是从服务器获取的，因此我没有 AWS 凭证或存储桶等。由于文件大于 5GB，我唯一的方法是分段上传。  

我的代码是这样的：

RequestBuilder request = RequestBuilder.post(uri);
request.addHeader("x-amz-server-side-encryption", "AES256");
request.addHeader("Content-Type", ct);
request.addHeader("Content-MD5", md5);

MultipartEntityBuilder entitybuilder = MultipartEntityBuilder.create();
entitybuilder.setMode(HttpMultipartMode.BROWSER_COMPATIBLE);
entitybuilder.addBinaryBody("file", file);

HttpEntity mutiPartHttpEntity = entitybuilder.build();
request.setEntity(mutiPartHttpEntity);

HttpClient client = HttpClientBuilder.create().build();

HttpResponse response = client.execute(request.build());
String responseStr = EntityUtils.toString(response.getEntity());

这失败了：

Caused by: java.net.SocketException: Connection reset
    at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:115)
    at java.net.SocketOutputStream.write(SocketOutputStream.java:155)
    at sun.security.ssl.OutputRecord.writeBuffer(OutputRecord.java:431)

我猜失败的发生是因为 AWS 允许每个连接最多 100 个请求，这会保持活动状态并尝试在单个连接上上传所有内容。有没有办法设置每个部分的大小和/或使 Apache HTTP 客户端不保持连接打开？

我不必使用 Apache HTTP 客户端。任何进行此上传的方式都是可以接受的，所以我也查看了 AmazonS3 客户端，但我能找到的所有示例都有 AWS 凭证。如果我有签名链接，是否可以使用 AmazonS3 进行上传？

标签： javaamazon-web-servicesamazon-s3apache-httpclient-4.x

解决方案

推荐阅读