从jupyter中的本地独立模式使用pyspark到使用yarn客户机模式需要哪些步骤?我特别寻找一个sparksession设置的例子。这只是一个获得集群访问并将sparksession重新指向集群地址的情况吗(我只是在使用pyspark和pandas,所以假设大多数集群都是为这些用途而设置的。是否还需要进一步的工作,例如在本地或集群端设置额外的环境变量、集群端的hdfs管理,以及类似于本地模式的监视性能的ui。
非常感谢您的指导!
从jupyter中的本地独立模式使用pyspark到使用yarn客户机模式需要哪些步骤?我特别寻找一个sparksession设置的例子。这只是一个获得集群访问并将sparksession重新指向集群地址的情况吗(我只是在使用pyspark和pandas,所以假设大多数集群都是为这些用途而设置的。是否还需要进一步的工作,例如在本地或集群端设置额外的环境变量、集群端的hdfs管理,以及类似于本地模式的监视性能的ui。
非常感谢您的指导!
暂无答案!
目前还没有任何答案,快来回答吧!