我正在寻求帮助，我的任务是在工作中建立一个hadoop集群。我在家里用开源栈在笔记本电脑上做过单节点的事情（我试图坚持使用开源的apache栈来避免任何许可成本。现在我们对cloudera和hortonworks没有兴趣）。
我偶然发现了apachebigtop堆栈（1.2.0）并在其中进行了探索。现在，我仍在努力了解它提供了什么（我还没有找到hadoop/spark版本的参考资料，等等…）。我能得到以下方面的帮助吗：
1.2.0版本提供了哪些版本的hadoop/spark/其他工具？
在RHEL7下从头开始安装一个完整的hadoop/spark集群有什么好的参考吗？我有12个服务器，我计划做2个namenodes和10个datanode。bigtop适合这样做吗，还是我应该安装每个包并手动配置？
我发现如下：
https://cwiki.apache.org/confluence/display/bigtop/how+to+install+hadoop+distribution+from+bigtop+1.2.0
这看起来很有希望，但对于centos 7来说，我知道这很相似，但并不完全相同。有人可以建议我如何修改这个工作RHEL7？我找到了回购，但没有给rhel。。。。
文档在apache官方页面上看起来很小，或者我只是找不到合适的位置。。。对于完整的集群安装，有好的参考链接吗？
感谢所有能帮忙的人，我真的很感激！
1条答案
按热度按时间kmpatx3s1#
1.2.0版本提供了哪些版本的hadoop/spark/其他工具？
检查1.2.0版本的文档：
https://cwiki.apache.org/confluence/display/bigtop/bigtop+1.2.0+release
您将获得hadoop2.7.3和spark2.1.0。我们在s3上提供了可安装的工件，供您测试功能
https://www.apache.org/dist/bigtop/bigtop-1.2.0/repos/centos7/bigtop.repo
注：我们将在2017年10月15日进行有效的s3迁移。我们以后会有相应的变化。如果你想尽快试一试的话。请将baseurl更改为：
http://repos.bigtop.apache.org/releases/1.2.0/centos/7/x86_64
在RHEL7下从头开始安装一个完整的hadoop/spark集群有什么好的参考吗？我有12个服务器，我计划做2个namenodes和10个datanode。bigtop适合这样做吗，还是我应该安装每个包并手动配置？
rhel和centos应该非常相似。我建议：
直接在rhel上试用我们的centos软件包，看看是否有效。我在RHEL6上使用了bigtop centos 6软件包，效果非常不错。
如果上述方法不起作用，bigtop是一个完全开放源码的解决方案，您可以构建自己的hadoop发行版。您可以根据所需的发行版构建整个堆栈。从头开始。我们有精心设计的工具和dockerlized框架来支持它。如果你知道该怎么做，那就提高你的需求user@bigtop.apache.org 邮件列表。我们很乐意帮忙。
我发现如下：https://cwiki.apache.org/confluence/display/bigtop/bigtop+1.2.0+release
对。你在找合适的医生。这正是我上面提到的：虽然是centos 7，但你可以在rhel 7上尝试回购。