filebeat和amazon msk(kafka)之间的ssl设置

5jdjgkvh  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(863)

我已经成功地得到filebeat导出日志到msk在纯文本模式。当尝试通过ssl执行同样的操作时,我从filebeat端收到错误消息 Publish failed with circuit breaker is open 以及msk cloudwatch日志中的ssl握手错误。
我不需要双向验证,所以我假设我只需要从msk控制台传递filebeat的acm pca,但是我仍然收到ssl握手问题。
谁能提供一个输出到msk的filebeat配置示例。

2o7dmzc5

2o7dmzc51#

您可以通过acm控制台创建私有证书。
完成后,您可以从acm导出证书,并在filebeat输出中使用cert和key。
第一步
证书管理器>请求证书>请求专用证书>选择您的kafka专用ca
例如,对于dns名称通配符,请输入您的msk主机名

  • .my-kafka-cluster.h6q2kl.c4.kafka.eu-west-2.amazonaws.com

完成后申请证书
第二步
在证书管理器的actions下导出私有证书,点击through,您将获得证书、证书链和密钥。你只需要证书和钥匙。
第三步
将证书和密钥添加到示例中,并将filebeat输出配置为使用ssl证书(您可能需要从密钥中删除密码)如果没有,请配置filebeat密钥库以避免明文密码
openssl rsa-in[original.key]-out[new.key]

  1. output.kafka:
  2. hosts: ["*******"]
  3. topic: "*****"
  4. partition.round_robin:
  5. reachable_only: false
  6. required_acks: 1
  7. compression: gzip
  8. max_message_bytes: 1000000
  9. ssl.certificate: "/root/certs/kafka-broker.pem"
  10. ssl.key: "/root/certs/kafka.key"

重新启动filebeat后,您应该开始在主题中查看数据

展开查看全部

相关问题