首页 > 技术文章 > logstash同步千万级数据问题

aliases 2022-03-19 09:01 原文

在实际业务当中,数据量达到的千万级别,为了提高搜索效率,决定采用Elasticsearch做搜索,相对于之前来说,速度提升了很多。
但是现在面临的问题是,业务数据在不断的修改(批量的修改mysql数据库数据)。这样做的话,就会不断的去更新ES。同步ES采用的是logstash做的数据同步,有相对延迟。
现在有在代码中手动同步,只要更新了数据库,就会手动同步一份数据到Es中去。不知道这样做合不合适?有没有一种更好的解决方案。谢谢!!

推荐阅读