java - 测试 Kafka、Spark 和 ES 集成的正确方法

Question

我有一个非常常见的问题，但我无法找到“正确”或“正确”的方法来测试它

我有一个简单的 Spark 作业，它从 Kafka 获取事件（事件采用 protobuf 格式），对它们应用一些转换，然后将结果存储在 ES 中。我正在保存单个事件

我需要知道如何正确测试它。我正在使用 BulkProcessor，因此，当我认为应该提交偏移量时，我会手动提交偏移量。因此，正确测试此工作流程是有意义的，因为我不想丢失事件

我的理解是我需要有一个模拟的 Kafka 实例，需要调用适当的函数来处理所有的转换，然后将结果存储在 ES 中。但是，我不知道如何做这一切。另外，我不知道如何将 protobuf 格式的测试事件写入 Kafka 主题

PS我没有使用Spring框架

标签： javaapache-sparkelasticsearchjunitapache-kafka