我对Kafka很陌生，我读了一些关于Kafka的数据处理和进一步分析（例如spark）的东西，但没有读到关于将数据放入Kafka的实际过程。我知道我必须把它当作制片人。但我如何才能从一个网络应用程序发送跟踪数据，并把它带进Kafka。我应该使用nginx日志文件作为一个生产者或一个服务器，它能够直接将这个文件写入kafka（例如，tornado和python lib for kafka）。。。？如何创建一个非常简单的分析工具，从get请求中获取数据并将其放入kafka中进行进一步处理？
任何评论或评论，也只是一些小提示，都会帮助我了解这一点。
1条答案
按热度按时间8mmmxcuj1#
如果您可以选择使用能够直接写入kafka的服务器（或者将producer与您的应用程序代码集成），并且没有任何其他缺点，那么我肯定会这样做，以避免整个日志文件解析步骤。在这种情况下，您可以将任何分析解决方案作为kafka消费者连接到下游，并可以将数据流式传输到其中。
如果你决定先在web应用服务器上触摸磁盘，有很多解析和转发到kafka的解决方案；flume/flafka、logstash、kafkacat等查看kafka生态系统页面。其中一些选项使您能够在数据到达kafka代理之前转换数据，这在某些情况下可能很有价值。