apache-spark - 根据来自 Spark Stream 的输入运行 Spark Ba​​tch 任务

Question

我有下一个架构：我的 Web 应用程序将 JSON 消息推送到 Kafka 主题。一条消息代表一个 DSL 命令（一种截断的 SQL）。我有一个用于运行单个 DSL 命令的 Spark 任务 - 它从 JSON 读取命令，从 parquet 文件读取数据，根据命令应用聚合并将结果写入 parquet 文件。我想使用 Spark Streaming 来监听 Kafka 主题并在同一个集群上运行批处理任务。但我有几个担忧：

• 使用 Spark Streaming 在同一个集群上启动批处理任务是个好主意（至少我关心跟踪失败的任务）？
• 我意识到这种架构相对于在没有 Spark Streaming 的情况下为批处理任务运行 Spark 集群的优势 - 延迟更少，但不确定容错等陷阱。

标签： apache-sparkapache-kafkaspark-streaming