clojure+狐猴

laawzig2  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(327)

我试图运行一些多步骤的工作使用狐猴+clojure。
我不同意将多个输入作为参数传递给clojure+lemur。
作为我的工作的第一步,我试图运行电子病历流作业
lemur run${conf\u-dir}/run-pipeline.clj——主示例类型${master\u-instance}——从示例类型${slave\u-instance}——num示例${num\u-instances}——ami版本${ami version}——hadoop版本${hadoop\u-version}——bucket${bucket}——jar src路径${conf\u-dir}/run-pipeline.clj——输入文件夹${input\u-folder}——输出文件夹“${output\u folder}”--减少任务“${reduce\u tasks}”--Map任务“${map\u tasks}”
对于单个输入文件,我的代码如下所示

(import com.amazonaws.services.elasticmapreduce.util.StepFactory)
(import com.amazonaws.services.elasticmapreduce.model.StepConfig)
(import com.amazonaws.services.elasticmapreduce.util.StreamingStep)

(defn create-step-parsing [eopts]
 (def step (new StreamingStep))
 (.withInputs step (into-array [(str (:input-folder eopts) "/inputs/*")]))
 ...

这工作得很好,但当我试图传递输入文件列表时,会出现错误
lemur run${conf\u dir}/run-pipeline.clj--主示例类型${master\u instance\u type}--从示例类型${slave\u instance\u type}--num示例${num\u instances}--ami版本${ami\u版本}--hadoop版本${hadoop\u版本}--bucket${bucket}--jar src路径${conf\u dir}/run-pipeline.clj--input\u文件夹${input\u folder1}--input\u文件夹“${input\u folder2}”--输入\u文件夹“${input\u folder3}”--输入\u文件夹“${input\u folder}”--输出文件夹“${output\u folder}”--减少任务“${reduce\u tasks}”--Map任务“${map\u tasks}”

(defn create-normalizer-step [eopts]
  (def step (new StreamingStep))
  (.withInputs step (to-array (:input-folder eopts)))

这是我得到的错误

15:44:05 Exception in thread "main" java.lang.ClassCastException
15:44:05    at java.lang.Class.cast(Class.java:2990)
15:44:05    at clojure.lang.Reflector.boxArg(Reflector.java:429)
15:44:05    at clojure.lang.Reflector.boxArgs(Reflector.java:462)
15:44:05    at clojure.lang.Reflector.invokeMatchingMethod(Reflector.java:57)
15:44:05    at clojure.lang.Reflector.invokeInstanceMethod(Reflector.java:30)
15:44:05    at run_pipeline17$create_normalizer_step.invoke(run-pipeline.clj:18)
15:44:05    at run_pipeline17$run_pipeline.invoke(run-pipeline.clj:209)
15:44:05    at lemur.core$fire_BANG_.doInvoke(core.clj:711)
15:44:05    at clojure.lang.RestFn.invoke(RestFn.java:423)
15:44:05    at run_pipeline17$eval178.invoke(run-pipeline.clj:222)
15:44:05    at clojure.lang.Compiler.eval(Compiler.java:6465)
15:44:05    at clojure.lang.Compiler.load(Compiler.java:6902)
15:44:05    at clojure.lang.Compiler.loadFile(Compiler.java:6863)
15:44:05    at clojure.lang.RT$3.invoke(RT.java:305)
15:44:05    at lemur.core$execute_jobdef.invoke(core.clj:742)
15:44:05    at lemur.core$_main$fn__1388.invoke(core.clj:929)
15:44:05    at lemur.core$_main.doInvoke(core.clj:924)
15:44:05    at clojure.lang.RestFn.applyTo(RestFn.java:137)
15:44:05    at lemur.core.main(Unknown Source)

我添加的代码是从第17行到第19行。
谢谢

rqenqsqc

rqenqsqc1#

我认为问题在于你使用的数组函数。在第一个工作示例中,您正在使用(into array)。
从文档中:
(进入阵列aseq)
(进入数组类型aseq)
返回一个数组,其中组件设置为aseq中的值。数组的组件类型是type(如果提供),或者aseq中第一个值的类型(如果存在),或者object。aseq中的所有值必须与组件类型兼容。原语类型的类对象可以使用例如integer/type来获得。
因为您正在创建字符串作为into数组的参数,所以clojure正确地为您创建了一个“string”数组。
在第二个不完整的示例中,使用(to array)。从文档中:
(到数组coll)
返回包含coll内容的对象数组,可以是任何集合。Map到java.util.collection.toarray()。
在本例中,您创建了一个“object”数组。这与streamingstep的aws java api中的“string”类型不兼容。
我的建议是使用(into array),类型规范为string。例如:(into array string[“hello”“goodby”])。在我看来,显式类型规范对于将来的阅读是很好的。但正如您从文档中看到的,(into array)将为您猜测键入的内容。

相关问题