使目标/依赖项不是文件

gfttwv5a  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(260)

我有一个处理工作,有很多中间的“东西”,它们相互依赖,最终产生某种输出。
过去我经常用gmake来完成这样的任务。
问题是,这一次有些“东西”不是本地文件系统上的文件/目录。实际上,它们是hadoop文件系统上的文件和hbase/mysql中的表。
到目前为止,我还没有找到一种方法让gmake拥有一个特殊的依赖项或目标(比如hadoop文件、数据库表等)。
我想到的唯一一件事就是在hadoop/database/中有一个“镜像”状态的脚本。。。指向本地磁盘上的(空)文件。让gmake看看那些文件。
这类任务的首选解决方案是什么?
使用镜像技巧。
以稍微不同的方式使用gmake?
使用其他支持此功能的工具?
...

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题