database - Clickhouse - OOM - Clickhouse数据导入功能执行时，程序被系统杀死

Question

当我执行Clickhouse数据导入功能时，程序被系统杀死了。

执行命令如下： clickhouse-client --user default --password xxxxx --port 9000 -hxxx --database="bds" --input_format_allow_errors_ratio=0.1 --query="insert into ... FORMAT CSV" < /1.csv

报告的错误是： [2478416.927226] Out of memory: Kill process 19696 (clickhouse-serv) score 12 or sacrifice child [2478416.928855] Killed process 19696 (clickhouse-serv), UID 0, total-vm:46668916kB, anon-rss:1008480kB, file-rss:0kB, shmem-rss:0kB

数据文件有122g，服务器内存128G，如何让Clickhouse命令合理导入，希望大家能帮帮我，谢谢！

标签： databaseclickhouse

Answer 1

最有可能是一个错误。你用的是什么CH版本？

尝试添加参数--input_format_parallel_parsing=0 --optimize_on_insert=0

--input_format_parallel_parsing arg                              Enable parallel parsing for some data formats.

--optimize_on_insert arg                                         Do the same transformation for inserted block of data as if merge was done on this block.