aws emr是否有自己的maven存储库,用于emr hadoop/spark/其他类似于hdp[http://repo.hortonworks.com/content/repositories/releases/ ]cdh[https://repository.cloudera.com/artifactory/cloudera-repos ]问题:如果是,它的网址是什么?如果不是这样的话,社区会推荐什么来构建一个sparkjar来在emr示例上执行呢?提前谢谢。
fumotvh31#
好消息是,一个用于emr依赖项的maven存储库(包括amazon的hadoop版本)现在可用了!https://docs.aws.amazon.com/en_us/emr/latest/releaseguide/emr-artifact-repository.html
oalqel3c2#
我也找不到一个官方的maven仓库,里面有来自aws的补丁hadoop代码。但据我所知,aws应用的补丁对于本地使用是不必要的。我建议使用官方的apachehadoop存储库http://mvnrepository.com/artifact/org.apache.hadoop 与emr在其环境中使用的版本相同。http://docs.aws.amazon.com/elasticmapreduce/latest/releaseguide/emr-hadoop.html
kmpatx3s3#
不,目前emr还没有对公众开放hadoop发行版。
3条答案
按热度按时间fumotvh31#
好消息是,一个用于emr依赖项的maven存储库(包括amazon的hadoop版本)现在可用了!
https://docs.aws.amazon.com/en_us/emr/latest/releaseguide/emr-artifact-repository.html
oalqel3c2#
我也找不到一个官方的maven仓库,里面有来自aws的补丁hadoop代码。但据我所知,aws应用的补丁对于本地使用是不必要的。
我建议使用官方的apachehadoop存储库http://mvnrepository.com/artifact/org.apache.hadoop 与emr在其环境中使用的版本相同。
http://docs.aws.amazon.com/elasticmapreduce/latest/releaseguide/emr-hadoop.html
kmpatx3s3#
不,目前emr还没有对公众开放hadoop发行版。