- 2025年05月13日
- 星期二
我们正在处理来自我们在HDFS上添加的多个服务器的大型日志文件.我们目前有一个很好的批处理解决方案(主要是每天移动和编写文件),并希望用Kafka实现实时解决方案.基本上,我们需要将来自Nginx的日志放入Kafka,然后编写消费者来写入HDFS(这可以通过HDFS消费者htt
我们正在处理来自我们在HDFS上添加的多个服务器的大型日志文件.我们目前有一个很好的批处理解决方案(主要是每天移动和编写文件),并希望用Kafka实现实时解决方案.基本上,我们需要将来自Nginx的日志放入Kafka,然后编写消费者来写入HDFS(这可以通过HDFS消费者htt