我试图添加一个hadoop管道作业到gcp中的工作流模板，但没有给出这样的例子。google的官方文档指定了如何提交hadoop作业，但是没有此类参数可用于提交hadoop管道作业。
1zmg4dgp1#
不，dataproc jobs api和dataproc工作流不直接支持hadoop管道，而且近期也没有计划增加对hadoop管道的支持。如果可以使用 hadoop jar 命令而不是 hadoop pipes 通过指定hadooppipes主类，您可以使用常规hadoopdataproc作业来运行它。
hadoop jar
hadoop pipes
1条答案
按热度按时间1zmg4dgp1#
不，dataproc jobs api和dataproc工作流不直接支持hadoop管道，而且近期也没有计划增加对hadoop管道的支持。
如果可以使用
hadoop jar命令而不是hadoop pipes通过指定hadooppipes主类，您可以使用常规hadoopdataproc作业来运行它。