首页 > 解决方案 > clickhouse-client - 插入大量数据因内存中断而失败

问题描述

我有一堆将 TSV 数据(数百 TB)加载到 clickhouse 的进程。

clickhouse-client --host=10.2.5.129 --port=9000 --query=INSERT INTO FS_20191211_0858 FORMAT TSV --send_timeout=30000 --receive_timeout=3000

在某些时候,我可以看到在 5-10 分钟内有 10 个并发进程,每个进程clickhouse-client消耗大约 10GB 的 RAM(常驻),再过几分钟操作系统就会将它们全部杀死。

有没有办法限制每个 clickhouse 进程的内存?

--max_memory_usage似乎不适用于客户。

标签: clickhouse

解决方案


推荐阅读