etl - 在 ETL 中，如何使用过去的时间戳处理插入到源数据库中的新数据？
问题描述
我们有一个连接到多个源数据库的 DWH。我们最近遇到了一个问题，其中一个源插入了一组带有过去时间戳的新记录（不是插入到其数据库的实际时间戳）。我们使用 Timestamp 来提取 Delta 记录。所以在这种情况下，这些新记录集不会在我们的增量提取中被提取。我相信使用 rowversion 将是一个理想的解决方案，但我们无法控制这个来源，我们不能保证这种情况不会再次发生。处理此类案件的好方法是什么？我们使用 Datastage。
谢谢！
解决方案
推荐阅读
- python - Tensorflow 迭代器无法迭代
- javascript - Highcharts 甘特图 - 显示多个 xAxis 行，一个代表年份，一个代表月份
- c# - System.ComponentModel.Win32Exception c#
- c# - 如何通过 Visual Studio 2019 和 C# 连接到 Firebird
- java - 当一个方法已经被另一个线程执行时跳过它
- php - Laravel 邮箱验证链接问题
- postgresql - TimescaleDB：了解创建超表后的返回值以及填充超表后的块创建
- node.js - Heroku webhook 与 Discord.js
- python - 子图中的 networkx 正在绘制部分在轴框架之外的节点
- spring - 如果请求参数在 Controller 方法中不可用，则 Spring 抛出错误请求