我有非常简单的工作流程。
<workflow-app name="testSparkjob" xmlns="uri:oozie:workflow:0.5">
<start to="testJob"/>
<action name="testJob">
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
</configuration>
<master>local[*]</master>
<name>Spark Example</name>
<jar>mapping.py</jar>
<spark-opts>--executor-memory 1G --num-executors 3
--executor-cores 1 </spark-opts>
<arg>argument1</arg>
<arg>argument2</arg>
</spark>
<ok to="end"/>
<error to="killAction"/>
</action>
<kill name="killAction">
<message>"Killed job due to error"</message>
</kill>
<end name="end"/>
</workflow-app>
spark脚本几乎什么都不做:
if len(sys.argv) < 2:
print('You must pass 2 parameters ')
#just for testing, later will be discarded, sys.exit(1) will be used.")
ext = 'testArgA'
int = 'testArgB'
#sys.exit(1)
else:
print('arguments accepted')
ext = sys.argv[1]
int = sys.argv[2]
该脚本与workflow.xml位于hdfs的同一文件夹中。
当我运行工作流时,我遇到了以下错误
Launcher ERROR, reason: Main class
[org.apache.oozie.action.hadoop.SparkMain], exit code [2]
我认为这是权限问题,所以我将hdfs文件夹chmod777和我的本地文件夹也设置为chmod777我使用的是spark1.6。当我通过spark submit运行脚本时,一切都很好(甚至是读/写hdfs或hive的更复杂的脚本)。
编辑:我试过这个
<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.3">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<exec>driver-script.sh</exec>
<!-- single -->
<argument>s</argument>
<!-- py script -->
<argument>load_local_2_hdfs.py</argument>
<!-- local file to be moved-->
<argument>localFilePath</argument>
<!-- hdfs destination folder, be aware of, script is deleting existing folder! -->
<argument>hdfsPath</argument>
<file>${workflowRoot}driver-script.sh</file>
<file>${workflowRoot}load_local_2_hdfs.py</file>
</shell>
<ok to="end"/>
<error to="killAction"/>
Workflow成功,但文件未复制到hdfs。没有错误。这个剧本本身确实有效。这里有更多。
3条答案
按热度按时间l7wslrjt1#
你可以用
spark-action
为了运行python脚本,但必须将路径作为参数传递给Python API
为了Spark。文件的第一行必须是:t3irkdon2#
不幸的是,oozie spark action只支持java工件,所以您必须指定主类(这个错误消息很难解释)。所以你有两个选择:
将代码重写为java/scala
像这样使用自定义操作或脚本(我没有测试它)
m0rkklqb3#
1:尝试使用getopt
在你的房子里
代码.py
在工作流中
输出“vuala”