sql-server - 如何通过ssis包加载N条记录?
问题描述
我必须通过 SSIS 包将三天的数据从源服务器加载到目标服务器。我数了一下,三天的总记录在31000左右。
在源表中,我使用以下 sql 查询:-
选择 id ,customer_id ,deleted_date ,lc_contact_date ,lc_lead_date ,lc_customer_date ,is_blacklisted_date ,modified_date ,modified_by ,cd_mdm1 ,cd_mdm2 ,cd_mdm3 ,cd_mdm4 ,cd_mdm5 from customer_dates WHERE (modified_date > '2018-05'-25_date <323: CURRENT_DATE-1) ;
将数据发送到目标表。
查询是正确的,它有大约 31000 个计数。但是错误是在使用包时它没有将数据从源传输到目标。如果我使用 600 左右的限制,即下面的查询它工作正常。选择 id ,customer_id ,deleted_date ,lc_contact_date ,lc_lead_date ,lc_customer_date ,is_blacklisted_date ,modified_date ,modified_by ,cd_mdm1 ,cd_mdm2 ,cd_mdm3 ,cd_mdm4 ,cd_mdm5 from customer_dates WHERE (modified_date > '2018-05'-25_date <323: CURRENT_DATE-1) 限制 600;
谁能帮我找出我必须嵌入到 ssis 包中的设置或任何东西?
解决方案
我使用 SSIS 加载了数百万行 - 工具中没有行限制。
我最好的猜测是数据转换组件中的某些内容无法转换,这导致包出错。
确认 * 删除现有的数据查看器(可选) * 将派生列添加到现有数据转换组件的错误路径 * 在数据转换和派生列之间添加数据查看器。
现在,所有失败的行都将被定向到您的查看器。此时,您可以确定行无法指定转换的原因,然后根据需要清理它们。
推荐阅读
- google-analytics - 从谷歌分析收集数据到我自己的管理面板
- bash - 使用 python 子进程在实例上运行 gsutil - 访问权限?
- javascript - Why does validation of a line with regex work well while validation of a string fails?
- javascript - console.log(res) NodeJS 的奇怪输出
- javascript - 从 HTML 页面发送 HTTP 请求
- qt - Arch Dark 主题 & Qt Creator
- javascript - 如何验证用户输入是否与给定字符串相同?Javascript
- c++ - 我如何实现自动 YT 打开?
- recursion - 使用递归检查数字是否为素数
- c++ - 如何正确地将内在和外在矩阵转换为opengl投影和视图矩阵