common-crawl:pyspark,无法使用

kiayqfof  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(289)

作为实习的一部分,我必须下载hadoop和spark,并在一些常见的crawl数据上测试它们。我试着按照这一页的步骤做https://github.com/commoncrawl/cc-pyspark#get-示例数据(我在我的电脑上安装了spark3.0.0),但是当我在我的电脑上尝试时(我使用的是ubuntu),我有很多错误,它似乎不起作用。
特别是,当我执行程序“serveur\u count.py”时,我有很多行是这样写的:failed to open/home/root/commoncrawl/。。。程序突然完成,写入:.mapouttrackerMasterEndpoint已停止。你知道怎么改正吗(这是我第一次使用这些软件)对不起,我的英语,并提前感谢您的回复

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题