首页 > 技术文章 > 【日志】

fi0108 2021-06-05 22:38 原文

我们前面采集的日志数据已经保存到Kafka中,作为日志数据的ODS层,从Kafka的ODS层读取的日志数据分为3类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理。将拆分后的不同的日志写回Kafka不同主题中,作为日志DWD层。

页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧输出流。

 

ods

ads

这两层没办法

dwd跟需求没啥关系

dwm中间层,从dwd到dws的过渡层

dws按天跟需求有关系,建的表紧密相关,建模面试中很多

dwt按周期累计

清状态有两种方式:ddt,定时器

 

推荐阅读