cassandra - READ 消息在最后 5000 毫秒内被丢弃:2 个内部和 0 个跨节点。平均内部丢弃延迟:2556 毫秒
问题描述
应用程序使用 go-lang 驱动程序读取查询。像 select * from tab1 where id=123 and datehr='12-10-2019' 这样的查询;
每个分区有 36k 行。每行大小为 120 字节。每个分区大小为 4MB。
但我在 Cassandra 调试日志中获取信息,如下所示。以及应用程序读取超时问题。使用 fetch size 的应用程序 go-lang 驱动程序为 5000。
cassandra 版本是 3.11.4 java-version java 版本 "1.8.0_131" 操作系统版本:centos 7.3 Cpu cores: 16 RAM: 64GB HEAP: 16/16
INFO [ScheduledTasks:1] 2020-01-20 13:45:32,095 MessagingService.java:1236 - READ messages were dropped in last 5000 ms: 2 internal and 4 cross node. Mean internal dropped latency: 3449 ms and Mean cross-node dropped latency: 3621 ms
INFO [ScheduledTasks:1] 2020-01-20 13:45:32,129 StatusLogger.java:101 - system_schema.dropped_columns 0,0
INFO [ScheduledTasks:1] 2020-01-20 13:46:52,135 MessagingService.java:1236 - READ messages were dropped in last 5000 ms: 1 internal and 0 cross node. Mean internal dropped latency: 2922 ms and Mean cross-node dropped latency: 3449 ms
INFO [ScheduledTasks:1] 2020-01-20 13:46:52,147 StatusLogger.java:101 - system_schema.dropped_columns 0,0
INFO [ScheduledTasks:1] 2020-01-20 13:51:32,157 MessagingService.java:1236 - READ messages were dropped in last 5000 ms: 2 internal and 0 cross node. Mean internal dropped latency: 2556 ms and Mean cross-node dropped latency: 0 ms
INFO [ScheduledTasks:1] 2020-01-20 13:51:32,166 StatusLogger.java:101 - system_schema.dropped_columns 0,0
INFO [ScheduledTasks:1] 2020-01-20 13:52:47,169 MessagingService.java:1236 - READ messages were dropped in last 5000 ms: 0 internal and 2 cross node. Mean internal dropped latency: 0 ms and Mean cross-node dropped latency: 1270 ms
INFO [ScheduledTasks:1] 2020-01-20 13:52:47,179 StatusLogger.java:101 - system_schema.dropped_columns 0,0
解决方案
我认为,这里解释了关于 drop 突变和 read 突变的相同内容。请参考下面 在 Cassandra 中删除读取和删除突变
推荐阅读
- c++ - 在 autotool 中包含不同 bin_Programs 的不同库
- ios - 如何使用 Xamarin.iOS 创建 Kiosk 模式应用程序
- r - R 树状图父子簇
- serial-port - 如何使用 USB 转 RS232 与 Android Things 通信
- ruby-on-rails - 无法在 Rails 协会中呈现表单
- asp.net-mvc - 如何使用 FluentValidation 同时为多个字段创建规则
- javascript - 为生产构建 Angular 应用程序
- python - Django 多对多
- python - 哪些 tensorflow 操作会触发内存分配?
- c# - 带有 lambda 转换的 C# 到 VB.net