python-2.7 - esimport overflowerror 在elasticsearch中索引批量CSV文件

Question

我正在尝试使用下面的 esimport 库来索引 elasticsearch。输入 csv 文件大小为 500 MB。

我在 wondows 10 服务器的命令提示符中使用以下代码。

start python -m esimport -s 10.10.31.111:9200 -f C:\CSV\1.csv -i bdm_crm_eve -t alldata -d "|" -T 60000 -bc 5000 -m C:\Data\latest_template_1224.json

我得到以下错误，我没有在互联网上的任何地方得到这个。任何人都可以帮我解决这个问题吗？

标签： python-2.7elasticsearch

Answer 1

我自己找到了答案。在esimport.py包设置的文件中，CSV 字段大小限制导致了此问题。我做了一些测试，并通过更改csv.field_size_limit(sys.maxsize)为csv.field_size_limit(2147483647). 现在工作正常