python - Elasticsearch 和 S3 存储桶：如何让 Python 检测来自 s3 存储桶的数据是否已经在弹性搜索中？

Question

我对 Elasticsearch 非常陌生，我似乎找不到可以帮助我让 Python 检测我在 s3 存储桶中的文档中的数据是否已经上传到 elasticsearch 的答案。我的目标是让它查看来自 s3 存储桶的数据是否已经在其中，如果是则跳过它，然后移动到下一个，直到它找到一个尚未上传数据的文档。有人能帮助我吗？

标签： pythonamazon-web-serviceselasticsearchamazon-s3

Answer 1

我认为最简单的方法是使用 DynamoDB 来存储这类信息。因此，您上传到 ES 的每个文件都会在 DDB 中获得一条记录。因此，您始终可以通过检查 DDB 中是否存在记录来验证文件是否已上传到 ES。