我们前面采集的日志数据已经保存到Kafka中,作为日志数据的ODS层,从Kafka的ODS层读取的日志数据分为3类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理。将拆分后的不同的日志写回Kafka不同主题中,作为日志DWD层。
页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧输出流。
ods
ads
这两层没办法
dwd跟需求没啥关系
dwm中间层,从dwd到dws的过渡层
dws按天跟需求有关系,建的表紧密相关,建模面试中很多
dwt按周期累计
清状态有两种方式:ddt,定时器