首页 > 技术文章 > Splunk 索引器 数据存储机制

congxinglong 2020-07-14 14:41 原文


Splunk的索引器通过内部事件化处理机制,将传入的数据转换为事件,然后将其存储在索引内部的数据桶中。


索引器

索引器是用于创建和管理索引的组件,是Splunk数据存储的核心。

索引器的主要功能是:
1.为传入的数据创建索引。
2.搜索索引数据。


事件化处理

Splunk会对传入的数据进行事件化处理,将原始数据以各种不同的方式进行增强处理后,转换为事件存入索引中。
具体处理方式包括:
1.将数据流分为单个可搜索事件。
2.创建或标识时间戳。
3.提取字段,如主机、数据来源和来源类型。
4.对传⼊数据执⾏⽤户定义的操作,如标识⾃定义字段、以掩码显⽰敏感数据、编写新键或修改的键、
--对多⾏事件应⽤换⾏规则、筛选出不需要的事件以及将事件路由到指定索引或服务器。


索引

索引器为您的数据创建索引时,会创建许多⽂件:
1.压缩形式的原始数据(原始数据⽇志)
2.指向原始数据的索引(tsidx⽂件)
3.其他⼀些元数据⽂件

索引中的目录被称为数据桶,数据在进入索引后,会经历 热->温->冷->冻结 数据桶的类型转换过程,
其中:
热数据桶:为正在写入信息的数据桶,可以搜索,不能备份。
温数据桶:从热数据桶滚动来的数据,索引不会主动写入数据,可以搜索,可以备份。
冷数据桶:从温数据桶滚动来的数据,可以搜索,可以备份。
冻结数据桶:从冷数据桶滚动来的数据,不能搜索,默认删除,但可以通过修改配置来改为归档,随后通过解冻操作来重新读取其数据。

推荐阅读