sql - CSV 文件元数据验证（与现有 SQl 表比较）

Question

我需要在加载到暂存文件夹之前验证 CSV 文件，然后必须加载到 sql 表中。我需要验证元数据（文件的结构必须与目标 sql 表相同） 列数应该等于目标 sql 表列的顺序应该与目标 sql 表相同 列的数据类型（没有文本值应该存在于 csv 文件的数字字段中）寻找一些简单有效的方法来实现这一点。感谢帮助

标签： sql

Answer 1

chkcsv.py：https://pypi.org/project/chkcsv/是一个 Python 程序和模块，可以满足您的大部分需求。它可用于验证 CSV 文件是否包含一组指定的列，以及每列的数据类型是否符合规范。但是，它不会验证 CSV 文件中列的顺序是否与数据库表中的顺序相同。无需将 CSV 文件直接加载到目标表中，您可以将其加载到临时表中，然后将其从那里移动到目标表中——这个两步过程消除了列顺序依赖性。

免责声明：我写了 chkcsv.py

编辑 2020-01-26：我刚刚添加了一个选项，允许您指定还应检查列顺序。