时间戳

首页 > 解决方案 > pubsubbeat 与 elasticsearch 的集成

linux - pubsubbeat 与 elasticsearch 的集成

问题描述

我正在学习如何将 pubsub 与 elasticsearch 集成。有多种选项，例如pubsubbeat、Google_pubsub 输入插件、Google Cloud Pub/Sub 输出插件。

我目前正在尝试使用 pubsubbeat 并在按照建议运行命令“ ./pubsubbeat -c pubsubbeat.yml -e -d "*" ”后卡住。控制台日志如下

2019-05-23T14:42:19.949+0100    INFO    instance/beat.go:468    Home path: [/home/amishra/pubsubbeat-linux-amd64] Config path: [/home/amishra/pubsubbeat-linux-amd64] Data path: [/home/amishra/pubsubbeat-linux-amd64/data] Logs path: [/home/amishra/pubsubbeat-linux-amd64/logs]
2019-05-23T14:42:19.949+0100    DEBUG   [beat]  instance/beat.go:495    Beat metadata path: /home/amishra/pubsubbeat-linux-amd64/data/meta.json
2019-05-23T14:42:19.949+0100    INFO    instance/beat.go:475    Beat UUID: 4bd6119e-603a-426c-9d5b-6ac588bb000e
2019-05-23T14:42:19.949+0100    INFO    instance/beat.go:213    Setup Beat: pubsubbeat; Version: 6.2.2
2019-05-23T14:42:19.949+0100    DEBUG   [beat]  instance/beat.go:230    Initializing output plugins
2019-05-23T14:42:19.949+0100    DEBUG   [processors]    processors/processor.go:49  Processors: 
2019-05-23T14:42:19.952+0100    INFO    pipeline/module.go:76   Beat name: allspark
2019-05-23T14:42:19.952+0100    INFO    [PubSub: dev/elk-logstash-poc/logstash-poc] beater/pubsubbeat.go:54 config retrieved: &{Project:dev Topic:elk-logstash-poc CredentialsFile:/home/amishra/key/key.json Subscription:{Name:logstash-poc RetainAckedMessages:false RetentionDuration:5h0m0s} Json:{Enabled:false AddErrorKey:false}}

再想一想，我尝试了解决方案 2，但遇到了错误并且还没有解决

io.grpc.internal.ManagedChannelImpl$NameResolverListenerImpl onError
WARNING: [io.grpc.internal.ManagedChannelImpl-1] Failed to resolve name. status=Status{code=UNAVAILABLE, description=Unable to resolve host pubsub.googleapis.com, cause=java.net.UnknownHostException: pubsub.googleapis.com

任何关于如何使事情起作用的线索都会有很大的帮助

标签： linuxelasticsearchgoogle-cloud-platformlogstashgoogle-cloud-pubsub

解决方案

该问题以意想不到的方式得到解决，即在新机器上安装和部署。根本原因仍然未知。

推荐阅读