首页 > 解决方案 > kafka 连接转换

问题描述

我想将数据从 postgreSQL 流式传输到 HDFS,但我所有的表都有多个时间戳列。我曾尝试过 confluent 提供的简单 jdbc 连接和 HDFS 接收器,以从 postgres 读取数据并将其写入 HDFS,但我所有的日期列都转换为 BigInt 而不是日期格式。我不知道这个大 int 是哪种格式,但它不在 Unix 时间戳中。有什么理由要找出它是哪种格式吗?我还想在我的 jdbc 连接中将日期列转换为 UNIX 时间戳,然后使用TimeStampConverter将它们转换为我的接收器中的日期。但我不知道如何在我目前的程序中实现它。此处报告了该问题。

标签: jdbcapache-kafkahdfsapache-kafka-connectconfluent-platform

解决方案


推荐阅读