elasticsearch - 弹性搜索 - 根据日期重新索引数百万条记录

Question

我们在基于日期的索引中有数百万条记录，在同一个索引中会有数千条属于不同日期的记录，我们希望根据月份和年份的日期将所有这些记录重新索引到索引中（例如 2020- 08-01, 2020-08-02 等...），我们必须在重新索引成功后从源索引中删除记录。我在查询中编写了一个小脚本来获取不属于当前日期的所有记录，并开始使用 reIndex api 重新索引，但在处理几百个 api 的 ES 后抛出“请求过多”错误。我也尝试使用“wait_for_completion:false”参数重新索引。我无法按日期对记录进行分组，因为 date_histogram 仅给出计数，不能使用批量 api，因为每条记录的目的地可能不同，并且无法提取每条记录的目的地值。

解决此问题的最佳方法是什么？

标签： elasticsearch