标签： apache-kafka

将Nginx日志放入Kafka的最佳选择？

dawei Nginx 2020年7月22日

我们正在处理来自我们在HDFS上添加的多个服务器的大型日志文件.我们目前有一个很好的批处理解决方案(主要是每天移动和编写文件),并希望用Kafka实现实时解决方案.基本上,我们需要将来自Nginx的日志放入Kafka,然后编写消费者来写入HDFS(这可以通过HDFS消费者htt