我正在做一个要求，我们需要阅读Kafka的消息，并保存（接收器）到Hive。我可以考虑使用不同技术的多种实现：阿克卡溪-那里的源头将是Kafka的源头，并汇到HiveHive流-使用Hive流Spark流尼菲-https://nifi.apache.org/用hive处理大量kafka消息流的最佳方法是什么？谢谢，阿伦
7fyelxc51#
当然，best是一个非常模糊的概念，但我个人喜欢nifi作为一个数据移动解决方案。如果您正在寻找快速开发和清晰的监控，那么直观的gui应该是非常有价值的。如果您发现无法获得足够的性能或足够好的延迟，您可能可以使用spark streaming进行改进，但通常不需要这样做。充分披露：没有与阿克卡溪流，并为cloudera背后的nifi，Spark和Hive的驱动力工作
1条答案
按热度按时间7fyelxc51#
当然，best是一个非常模糊的概念，但我个人喜欢nifi作为一个数据移动解决方案。
如果您正在寻找快速开发和清晰的监控，那么直观的gui应该是非常有价值的。
如果您发现无法获得足够的性能或足够好的延迟，您可能可以使用spark streaming进行改进，但通常不需要这样做。
充分披露：没有与阿克卡溪流，并为cloudera背后的nifi，Spark和Hive的驱动力工作