我必须继续数据处理，以前的开发人员使用master（“yarn”）来构建spark会话。但今天我运行它，它花了很长时间，我搜索了解决方案，他们说我应该将“yarn”改为本地。它成功了。但它会改变什么吗？我已经搜索了差异，但仍然不明白。任何人都可以用婴儿语言解释什么是差异，如果它会影响我的项目？谢谢
6jjcrrmo1#
如果将local设置为master，则根本不会获得并行度。将local设置为master可能适合于开发或测试目的。但这不是提交spark job进行生产的正确方式。如果您将主机设置为Yarn，Spark作业将在Yarn簇上运行，并且您将能够根据您的配置参数获得平行度。如果你需要更多关于它的信息，这里是关于主网址的官方文件
1条答案
按热度按时间6jjcrrmo1#
如果将local设置为master，则根本不会获得并行度。将local设置为master可能适合于开发或测试目的。但这不是提交spark job进行生产的正确方式。
如果您将主机设置为Yarn，Spark作业将在Yarn簇上运行，并且您将能够根据您的配置参数获得平行度。
如果你需要更多关于它的信息，这里是关于主网址的官方文件