amazon-web-services - 与 S3 同步：Errno 24 打开的文件过多
问题描述
这对我来说有点让人头疼，因为我已经多次使用相同类型的文档完成了相同的过程。之前没有问题，最近一次刷新是在 10 月。
我有一个涉及每季度下载和解析大量 PDF 的项目。每个版本大约有 110 万个。每个 PDF 为 3-4 页，因此文件非常小。我在本地对它们进行所有操作，然后在下载后从外部 SSD 推送到 S3 以进行备份。
我目前正在尝试刷新。它包含大约 50 个文件，然后我收到错误
fatal error: [Errno 24] Too many open files
所有文件都未打开。
非常简单，但这就是我在终端中所做的
> screen
> aws s3 sync '/Volumes/G-DRIVE slim SSD USB-C/DOF PDFs/NPV_all' s3://dof.taxdocs/NPV
有人有想法吗？
编辑：
我尝试将 ulimit 设置为 65536/200000 但这不起作用。我还尝试恢复到更早的 AWS CLI 2.X，但它也不起作用。最后，我将外部 SSD 连接到我的笔记本电脑上，并且从那里同步良好。在那台机器上，ulimit 设置为 256，这告诉我这不是问题。但是它正在运行 aws-cli/1.11.28 Python/2.7.10 Darwin/18.7.0 botocore/1.4.85。操作系统是 Mojave 10.14.6（与遇到问题的桌面相同）。我强烈怀疑这是最新版本的 AWS CLI 中的错误。如果将来有其他人遇到这种情况，我会首先尝试最新的 AWS CLI（希望到那时没有错误），然后恢复到 1.X 版本。