我是大数据和Hive的新手。需要与其他开发人员合作一个spark流媒体应用程序，其中包括阅读Kafka的内容并将其放在hive/hdfs上。另一个开发人员使用/指向hdfs的相同位置，读取配置单元文件并进行进一步处理。
我的development env是windows系统上的eclipse。另一个开发者env是机器上的eclipse。
由于两者都在处理相同的文件，我们之间是否有共享hdfs路径的方法？
请分享spark开发团队如何处理这些场景的细节？
建议最佳实践等。
非常感谢，希亚姆
我是大数据和Hive的新手。需要与其他开发人员合作一个spark流媒体应用程序，其中包括阅读Kafka的内容并将其放在hive/hdfs上。另一个开发人员使用/指向hdfs的相同位置，读取配置单元文件并进行进一步处理。
我的development env是windows系统上的eclipse。另一个开发者env是机器上的eclipse。
由于两者都在处理相同的文件，我们之间是否有共享hdfs路径的方法？
请分享spark开发团队如何处理这些场景的细节？
建议最佳实践等。
非常感谢，希亚姆
1条答案
按热度按时间vsaztqbk1#
您需要设置多节点hadoop集群，并将所有开发人员系统ip配置为datanodes，以便它们可以共享相同的hdf。
hadoop的主conf文件：core site.xml、hdfs site.xml、mapred-site.xml和yarn-site.xml
一旦完成，您可以安装hive和sparkoverhdfs。
请参阅安装链接：https://www.linode.com/docs/databases/hadoop/how-to-install-and-set-up-hadoop-cluster/httpshttp://dzone.com/articles/setting-up-multi-node-hadoop-cluster-just-get-easy-2