clickhouse - clickhouse-client - 插入大量数据因内存中断而失败
问题描述
我有一堆将 TSV 数据(数百 TB)加载到 clickhouse 的进程。
clickhouse-client --host=10.2.5.129 --port=9000 --query=INSERT INTO FS_20191211_0858 FORMAT TSV --send_timeout=30000 --receive_timeout=3000
在某些时候,我可以看到在 5-10 分钟内有 10 个并发进程,每个进程clickhouse-client
消耗大约 10GB 的 RAM(常驻),再过几分钟操作系统就会将它们全部杀死。
有没有办法限制每个 clickhouse 进程的内存?
--max_memory_usage
似乎不适用于客户。
解决方案
推荐阅读
- kubernetes - 正确使用 Role.rules.resourceNames 来创建对资源的访问受限的 pod
- micronaut - 内部服务器错误:org.hibernate.hql.internal.ast.QuerySyntaxException:意外令牌:。调用 findById 或 DeleteById 方法时
- javascript - 在 php 中获取 javascript 变量值时出错
- php - 无法调用工艺 3 模块的操作
- java - 使用 SimpleDateFormat 解析负时间字符串
- mysql - 替换大 sql 文件中的字符串 (15 go) bash
- python - 在 scikit learn 中准备和可视化分类报告时出现错误“FutureWarning: elementwise comparison failed”
- c# - 如何等待我的动画结束以继续 Unity 中的代码?
- machine-learning - 当组件的数量选择相同时,sklearn PCA对输入数组的作用是什么?
- python - Python:在长列表 2 中计算长列表 1 的元素的最有效方法?(列表理解真的很慢)