maven emr hadoop存储库

daolsyd0  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(427)

aws emr是否有自己的maven存储库,用于emr hadoop/spark/其他类似于
hdp[http://repo.hortonworks.com/content/repositories/releases/ ]
cdh[https://repository.cloudera.com/artifactory/cloudera-repos ]
问题:
如果是,它的网址是什么?
如果不是这样的话,社区会推荐什么来构建一个sparkjar来在emr示例上执行呢?
提前谢谢。

fumotvh3

fumotvh31#

好消息是,一个用于emr依赖项的maven存储库(包括amazon的hadoop版本)现在可用了!
https://docs.aws.amazon.com/en_us/emr/latest/releaseguide/emr-artifact-repository.html

oalqel3c

oalqel3c2#

我也找不到一个官方的maven仓库,里面有来自aws的补丁hadoop代码。但据我所知,aws应用的补丁对于本地使用是不必要的。
我建议使用官方的apachehadoop存储库http://mvnrepository.com/artifact/org.apache.hadoop 与emr在其环境中使用的版本相同。
http://docs.aws.amazon.com/elasticmapreduce/latest/releaseguide/emr-hadoop.html

kmpatx3s

kmpatx3s3#

不,目前emr还没有对公众开放hadoop发行版。

相关问题