cassandra - Cassandra default_time_to_live 和 gc_grace_seconds 属性没有从表中删除数据
问题描述
我为一个表设置了 default_time_to_live 1 分钟并且没有计数器字段,仍然没有从表中清除数据。这是一个 6 节点集群。
CREATE TABLE <DB>.<TABLE> (
unqid text PRIMARY KEY,
lastupdtdtm timestamp,
rltdid text,
tmtolive varint) WITH bloom_filter_fp_chance = 0.01
AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'}
AND comment = ''
AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy', 'max_threshold': '32', 'min_threshold': '4'}
AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor'}
AND crc_check_chance = 1.0
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 10
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99PERCENTILE';```
解决方案
在表上设置默认 TTL 仅适用于新插入的数据。SSTables 在 Cassandra 中是不可变的——一旦它们被写入磁盘,它们就不会被更新/修改。这意味着磁盘上的任何现有数据都不会应用新的 TTL,因此它们不会自动过期。
您将需要最好在 Spark 中编写一个应用程序,该应用程序将遍历分区并(a)使用 TTL 更新每个分区,或(b)删除整个分区。否则,它们不会自行过期,也不会被删除。干杯!
推荐阅读
- azure - 使用 Azure DNS 转发电子邮件
- reactjs - TouchableOpacity onPress() 功能不起作用
- python - 有没有办法使用 tkinter,这样当它运行时,用户可以单击一个按钮来创建一个可视化并显示该可视化
- javascript - 如何在 jQuery 代码中实现 ::ng-deep 的功能
- c - 计算一个数字除以另一个数字的次数
- c# - 使用 NAudio 在 WPF 上创建音频播放器。绑定不起作用
- excel - 如何在 Excel 中设置刷新顺序?包含数据库数据和更多层的数据透视表
- python - 用于弹性搜索的 Python API - 每次响应 10000
- ruby-on-rails - 无法在 Rails 5.1 中加载 google-cloud-text_to_speech Gem 的默认凭据
- ios - WKWebView iframe X-Frame-Options 是“拒绝”