如果luigi图中的一个任务需要在远程hadoop集群上运行，这可能吗？luigi运行的机器与hadoop集群不同。luigi还能检查远程集群中的hdfs文件是否存在吗？我试图找到这个文档，但没能找到。
3phpmpom1#
可以运行启动任何脚本的作业。hdfs目标文档如下：https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.htmlhttps://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.target.html
1条答案
按热度按时间3phpmpom1#
可以运行启动任何脚本的作业。
hdfs目标文档如下：
https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.html
https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.target.html