目前我的应用程序使用winston登录到控制台和logstash，但我需要将日志发送到kafka，然后将它们流式传输到spark并将数据写入cassandra。我遇到了几种不同的方法来解决这个问题：
一种是登录到一个文件，然后使用filebeats将日志输出到kafka
第二个是从logstash输出数据
还有一些其他的解决方案，包括使用kafka logger包（直接从winston向kafka发送数据），但是我不知道它有多安全，因为git repo已经有2年没有更新了。
我希望我提供了足够的信息，如果不是这样，我会编辑我的问题。
1条答案
按热度按时间vfwfrxfs1#
有本地js客户端可用，例如https://kafka.js.org/
一般来说，你将有一个更愉快的时间发送事件直接Kafka没有涉及平面文件。它只是更多的移动部件出错（如果您想扩展或将执行移到另一个节点，那么会使生活更艰难）。
顺便说一句，要从Kafka向Cassandra获取数据，只需使用Kafka连接：）