如何确定在python中使用的hdfs文件的位置?

7rfyedvj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(245)

我有一个系统,它使用celery 来管理队列,在计算集群上运行python任务。这些任务对存储在maprfs中的数据进行操作(它公开了hadoophfdsapi,因此在hadoophdfs上工作的技术应该在maprfs上工作)。
我希望能够确定mapr fs中存储的文件的位置,并将任务分配给在对该文件具有本地访问权限的特定集群节点上运行。
这可能吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题