hadoop—我应该使用哪个发行版—hdp或cdh—来进行集中于spark和安全性的免费集群部署?

disho6za  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(218)

我是一个大数据的初学者,也许这对quora来说是个问题,但我还是会继续拍摄。我必须建立一个实时数据流集群,严格的安全要求(基于角色的访问、加密的传输和存储)。计划是使用apachekafka作为数据管道,将数据发送到spark streaming,在spark streaming上我们运行一些分析或可视化等,因此我想要回答的问题是
使用cloudera's或hortonworks(或diy)等现有发行版建立这样一个集群的最佳选择是什么?我想保持开源和免费,所以不需要mapr。一个设置,是或可以与Kafka和Spark集成是我在这里寻找。
上面建议的分发版的安全实现是什么(对于基于角色的访问,所有层的加密)
添加了安全功能后会带来什么开销?
如何对这样的集群进行基准测试或测试,即任何链接、教程指南和虚拟设置?
如果我使用cloudera manager express购买cloudera的cdh 5,我将无法在集群中集成哪些功能;相对于cloudera manager企业版?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题