azure - 是否可以通过 Azure 管道将选择性数据从文件加载到 ADW
问题描述
我想知道我们是否能够通过 Azure 管道将选择性数据从文件加载到 ADW。
我每天都会收到完整的文件，我必须将数据加载到 ADW。但我只需要从文件中加载最近 2 天的数据。该文件将具有代表数据的日期。
我已经浏览了管道文档，但找不到任何方法可以直接从文件中过滤掉数据。
有人可以建议这是否可能吗？
谢谢
解决方案
如果数据文件是 csv 文件或 Blob 存储或数据湖存储中的类似文件，您可以在 ADW 中创建一个映射数据文件的外部表。然后，您可以在从外部表加载数据时使用选择查询来检索过去 2 天的数据。
/马格纳斯
推荐阅读
- javascript - 如何使用 TestCafe 访问应用程序操作？
- python - Python多条重复记录
- bash - EC2 用户数据未启动我的应用程序
- apache-kafka - 如何查看从某个 IP 地址连接的 kafka 客户端应用程序？
- swift - 将 CGImage 转换为 MTLTexture 而不进行预乘
- javascript - 我可以在悬停时使用 highcharts 列堆叠而不突出整个系列吗
- python - 如何通过使用python在csv文件中搜索字符串的第一个单词来打印整个字符串（在单元格中）
- java - 在复杂的 HashMap 中使用 StringJoiner
- python - OpenCV Videowriter 无法在 Ubuntu 16.04 上运行
- r - 如何在所有列中比较两行（由定义的条件选择）？