azure - azure 数据湖 - 验证 csv 中的要求字段
问题描述
我开始使用大数据。假设我将收到多个 csv 文件，这些文件将存储在 Azure Data Lake 中并且它们具有已定义的架构，那么最好的方法是：
-验证是否将在 CSV 中提供必填字段（并非所有字段都是必需的）
-获取成功匹配定义模式的记录
- 获取与定义的模式不匹配的记录
我已经查看了 USQL 以及它可以多快合并/提取/分组数据，但它并不被认为是逐行验证的正确工具。我还查看了 Azure 数据工厂，但我不确定是否是正确的工具或如何完成此操作。
提前致谢
解决方案
推荐阅读
- amazon-web-services - 如何在 react-native typescript 模板中配置 Amplify UI 组件
- shell - 编写一个 shell 脚本来查找文件中存在的所有元音并打印相应的单词
- python - python程序打印一个变量然后说它没有定义。为什么？
- mockito - 如何检查注入服务中是否调用了方法？
- python - 如何通过在左侧和右侧的加权平均值之间插值来填充缺失值？
- bash - Ansible：为什么这个脚本在通过 ansible 运行时不会记录？
- python - Plotly：如何为两个不同地块的类别使用相同的颜色？
- jupyter-notebook - jupyter-lab 不加载 jupyter_nbextensions_configurator （但 jupyter-notebook 可以）
- r - 有没有办法保存 RStudio 控制台警告和消息？水槽（）不起作用
- ruby-on-rails - Ruby Gem 项目——雷神生成器导致只读文件系统错误