c++ - 火花流：cpp 结构到 kafka，kafka 到火花流

Question

我正在使用 Apache Spark 2.3，我正在以 lz0 格式从 UDP 端口读取数据，并使用 c++ 代码解压缩 cpp struct 中的数据并将该结构格式数据发送到 Kafka topic。在此之后，我想对 Kafka 数据（以 cpp struct 格式）进行火花流处理，并将数据存储在另一个 Kafka 主题中。但我无法做到这一点或找不到任何 API。

             CPP struct:
              typedef struct message{
              int id;
              char name[MAX_BUF];
              float facevalue;
              }BCASTMSG; 

在控制台上打印 Kafka 主题数据时，它不是可读格式。想要转换数据。任何帮助将不胜感激。

标签： c++apache-sparkapache-kafkaspark-streaming