时间戳

首页 > 解决方案 > 如何从 Filebeat Shipper 将数据转发到 Power Bi

elasticsearch - 如何从 Filebeat Shipper 将数据转发到 Power Bi

问题描述

我有一个记录用户交互并将它们保存到 log.json 文件的应用程序。

之前，我使用 Humio 作为我的分析工具，但现在我想使用 Power Bi。

我有一个数据传送器 Filebeat，它转发日志数据（在 Humio 之前）。

现在我想知道，是否可以使用 Filebeat 将数据转发到 Power Bi。

如果是这样 - 怎么样？？？

这就是我的 filebeat.yml 发送到 Humio 时的样子

#======== Filebeat inputs ===========
filebeat.inputs:

- paths:
- path\to\audit_log\*

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:

hosts: ["https://cloud.humio.com:443/api/v1/dataspaces/audit_log/ingest/elasticsearch"]
username: myUsername
password: myPassword

如果我想使用 Power Bi，您对 output.elasticsearch 的外观有什么建议吗？

我试图遵循指南：https ://docs.microsoft.com/en-us/power-bi/developer/walkthrough-push-data

但我需要一些帮助——我缺少一些知识或理解。

或者更接近我的实际问题的指南。

提前比！

标签： elasticsearchconnectionpowerbifilebeat

解决方案

您将无法将数据直接从 filebeat 发送到 BI。您需要进行某种转换，因为您的 BI 数据集 JSON 结构与 Filebeat 生成的 JSON 不同。

看看 Logstash，它是弹性堆栈的一部分，Filebeat 用于将数据发送到 Logstash。您只需要在 filebeat.yml 中应用一个小改动

在 Logstash 中，您需要配置提取转换加载（又名 ETL）管道，以便接收（E）来自文件节拍的所有事件并将它们转换（T）为 Power BI REST Api 所需的 JSON 结构（https:// docs.microsoft.com/de-de/rest/api/power-bi/pushdatasets/datasets_postdataset），最后向 BI 实例发出 HTTP 请求 (L)。

推荐阅读