amazon-web-services - HIVE_CURSOR_ERROR：请降低您的请求率

Question

我正在使用 CloudTrail 日志对我的 s3 存储桶运行简单查询。桶很大，大约 1 分 45 秒后出现错误

HIVE_CURSOR_ERROR：请降低您的请求率。

有没有办法限制 Athena 中我的 s3 存储桶的请求率？

SELECT *
FROM default.cloudtrail_logs_cloudtraillog
WHERE eventname = 'DeleteUser' AND awsregion = 'us-east-1'

标签： amazon-web-servicesamazon-s3amazon-athena

Answer 1

因此，我将总结 AWS 建议的解决方案。它们都不是很好，我想知道为什么 AWS 不会限制它们，而是抛出错误。

默认情况下，S3 将自动扩展以支持非常高的请求率。当您的请求率扩展时，S3 会根据需要自动对您的 S3 存储桶进行分区以支持更高的请求率。但是，有时它仍然会出错。所以他们建议等待（不建议时间框架）给 S3 足够的时间根据它收到的请求率自动分区你的存储桶。

他们还建议：

1) 使用 S3distcp 实用程序将小文件组合成更大的对象。https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

2) 分区https://docs.aws.amazon.com/athena/latest/ug/partitions.html