下面是我的Dataframe和代码
df=
a b c d
1 3 10 110
2 5 12 112
3 6 17 112
4 8 110 442
下面是我的代码
spark =SparkSession.builder.appName('dev_member_validate_spark').config('spark.sql.crossJoin.enabled','true').getOrCreate()
sqlCtx=SQLContext(spark)
from pyspark.ml.linalg import DenseVector
from pyspark.mllib.regression import LabeledPoint
temp = df.select("a","b").map(lambda line:LabeledPoint(line[0],[line[1:]]))
当我执行temp=line时,我得到下面的错误
Error:Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-
1.cdh5.7.0.p0.120904/lib/spark2/python/pyspark/sql/dataframe.py", line 964, in __getattr__
"'%s' object has no attribute '%s'" % (self.__class__.__name__, name))
AttributeError: 'DataFrame' object has no attribute 'map'
我正在使用pyspark 2.1和cloudera 5.10
我正在参照链接编写上述脚本:
https://databricks.com/product/getting-started-guide/machine-learning
请帮助我解决这个问题。
2条答案
按热度按时间mdfafbf11#
首先请注意:有两个独立的ml库:第一个(您从中导入了线性代数库)是pyspark.ml。第二个是从中导入的pyspark.mllib
LabelPoint
.试图互操作这两个包是一条充满痛苦的道路。试着坚持一个,并坚持下去。
第二,关于例外情况:
temp = df.select("a","b").map(...)
df
是一个DataFrame
,它没有map
方法。但是请接受我的第一个建议-不要混合使用mllib和ml模块。
ijnw1ujt2#
这是因为dataframe根本没有“map”属性。在spark 2.0之前,它有,但现在不是了。databricks没有更新教程。您可以通过转换为rdd来Map,即df.rdd