bigdata - 如何采取druid段数据备份？

Question

我是德鲁伊的新手。在我们的应用程序中，我们将 druid 用于时间序列数据，这可能会非常大（10-20TB）。Druid 为您提供深度存储的便利。但是，如果此深度存储崩溃/或无法访问，则会导致数据丢失，进而影响应用程序正在运行的分析。我正在考虑将增量备份 druid 段数据带到某个安全位置，例如 ftp 服务器。因此，如果深度存储不可用，那么他们可以从该 ftp 服务器恢复数据。

德鲁伊中是否有任何工具/实用程序可用于增量备份/恢复德鲁伊段？

标签： bigdatabackuprestoredruidbackup-strategies

Answer 1

一般来说，定期对元数据存储进行快照很重要，因为这是深度存储中内容的“索引”。可能每天一张快照，并将它们存储多长时间。最好将它们存储至少几周，以防您出于某种原因需要回滚。

当它们出现时，您还需要在深度存储中备份新段。拍摄一致的快照并不重要，只是为了最终获取每个文件。

另请参阅https://groups.google.com/g/druid-user/c/itfKT5vaDl8

您提到数据丢失时的另一个注意事项：不直接查询深度存储- 例如，在历史进程中，查询在本地段缓存上执行。深度存储是在摄取时写入的，因此一旦再次可用，您可能会“丢失”无法摄取的数据，但您将继续获得分析能力，因为已经加载的数据在历史记录中......只是一个想法哈哈！

我希望这有帮助....？！？！