amazon-web-services - AWS 中的 ELK 堆栈用于搜索应用程序数据

Question

输入文件：csv

例如：~DEALER_ID~,~STOCK_ID~,~VIN~,~IS_NEW~,~IS_CERTIFIED~,~YEAR~,~MAKE~,~MODEL~

~1035659~,~C0524359~,~2LMDJ6J45454359~,~N~,~N~,~2013~,~林肯~,~MKX~

~1035659~,~C0532359~,~345666543344443~,~N~,~N~,~2016~,~BMW~,~X5~

...

...

地点：S3

将 csv 放入 S3 中后，我希望将数据摄取到 AWS 托管的 ElasticSearch 中。我对 ELK 堆栈和 AWS 弹性搜索非常陌生，所以我想要一些关于在 AWS 上运行的最佳方法的建议。

我能够通过在本地运行 logstash 并将其发送到我的本地 ElasticSearch 和 Kibana 服务器来解析这个文件。

标签： amazon-web-serviceselasticsearch

Answer 1

简单的方法是运行一个 Lambda 函数并添加一个触发器，这样当一个新文件到达 S3 时，您的函数就会被触发，并且 Lambda 会将数据摄取到 AWS ES