时间戳

首页 > 解决方案 > 从 Kafka 到 Druid 的交互式实时更新数据

database - 从 Kafka 到 Druid 的交互式实时更新数据

问题描述

我是使用德鲁伊和卡夫卡的初学者。

案例是我想通过实时更新将数据从kafka上传到druid，当我想将任何新数据上传到kafka时，druid会自动更新其数据。我认为我的配置在德鲁伊中有错误或缺失。

这是我的德鲁伊配置。

{
  "type": "kafka",
  "spec": {
    "ioConfig": {
      "type": "kafka",
      "consumerProperties": {
        "bootstrap.servers": "localhost:9092"
      },
      "topic": "testing1",
      "inputFormat": {
        "type": "json"
      },
      "useEarliestOffset": true
    },
    "tuningConfig": {
      "type": "kafka"
    },
    "dataSchema": {
      "dataSource": "testing1",
      "timestampSpec": {
        "column": "tanggal",
        "format": "iso"
      },
      "dimensionsSpec": {
        "dimensions": [
          {
            "type": "long",
            "name": "jumlah_pembelian"
          },
          "kode_cabang",
          "kode_item",
          "kode_kasir",
          "kode_produk"
        ]
      },
      "granularitySpec": {
        "queryGranularity": "none",
        "rollup": false,
        "segmentGranularity": "year"
      }
    }
  }
}

有谁知道我该怎么办？

标签： databaseapache-kafkaanalyticsreal-timedruid

解决方案

推荐阅读