在哪里可以找到pyspark的xgboost4j-1.1.2.jar包的正确版本sparkxgb.zip?

83qze16e  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(461)

我用的是 xgboost4j-0.90.jarPyspark 以及它的工作版本 sparkxgb.zip . 一切都很顺利,直到我决定更新到 xgboost4j-1.1.2.jar . 因为我用的是 scala 2.11 我不能改变世界 scala 由于其他原因,最新版本 xgboost4j 我可以得到与 scala 2.11xgboost4j-1.1.2 .
我现在发现的问题是 Pyspark 我想用 XGBoostClassifier() i类出现以下错误:

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-5-56249c4ed3fb> in <module>()
----> 1 XGBoostClassifier()

/opt/cloudera/parcels/CDH-6.3.4-1.cdh6.3.4.p0.6626826/lib/spark/python/pyspark/__init__.py in wrapper(self, *args,**kwargs)
    108             raise TypeError("Method %s forces keyword arguments." % func.__name__)
    109         self._input_kwargs = kwargs
--> 110         return func(self,**kwargs)
    111     return wrapper
    112 

/tmp/spark-da5b0f7f-7899-450b-a3bc-f9359c37ac9c/userFiles-805b892a-61df-41ed-83eb-b7127f3f7765/sparkxgb.zip/sparkxgb/xgboost.py in __init__(self, alpha, baseMarginCol, baseScore, checkpointInterval, checkpointPath, colsampleBylevel, colsampleBytree, contribPredictionCol, customEval, customObj, eta, evalMetric, featuresCol, gamm, growPolicy, labelCol, reg_lambda, lambdaBias, leafPredictionCol, maxBin, maxDeltaStep, maxDepth, minChildWeight, missing, normalizeType, nthread, numClass, numEarlyStoppingRounds, numRound, numWorkers, objective, predictionCol, probabilityCol, rateDrop, rawPredictionCol, sampleType, scalePosWeight, seed, silent, sketchEps, skipDrop, subsample, thresholds, timeoutRequestWorkers, trainTestRatio, treeLimit, treeMethod, useExternalMemory, weightCol)
     64 
     65         super(XGBoostClassifier, self).__init__()
---> 66         self._java_obj = self._new_java_obj("ml.dmlc.xgboost4j.scala.spark.XGBoostClassifier", self.uid)
     67         self._create_params_from_java()
     68         self._setDefault()  # We get our defaults from the embedded Scala object, so no need to specify them here.

/opt/cloudera/parcels/CDH-6.3.4-1.cdh6.3.4.p0.6626826/lib/spark/python/pyspark/ml/wrapper.py in _new_java_obj(java_class, *args)
     65             java_obj = getattr(java_obj, name)
     66         java_args = [_py2java(sc, arg) for arg in args]
---> 67         return java_obj(*java_args)
     68 
     69     @staticmethod

TypeError: 'JavaPackage' object is not callable

我对此进行了研究,发现这个问题似乎是同一个问题,发布问题的用户也发布了答案,他说问题的版本是 sparkxgb.zip 他用的 Package 纸,是为一个古老版本的 xgboost4j 包裹。
然后我试着寻找我的正确版本 sparkxgb.zip 但在谷歌搜索了几个小时后,我找不到一个网站,上面列出了所有的版本,指明了该版本的 xgboost4j 他们在工作。我唯一找到的是直接指向 sparkxgb.zip 我无法确定它是否适合我的版本的文件 xgboost4j .
有人能告诉我这个错误是否与 sparkxgb.zip 文件?如果是的话,我在哪能买到合适的 xgboost4j-1.1.2.jar 与…一起使用 Pyspark ? 如果问题与zip文件 Package 器无关,有人能帮我解决这个问题吗 xgboost4j-1.1.2 为我工作好吗?
事先非常感谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题