如何在ApacheSparkJava中将行从csv转换为arraytype？

kupeojn6 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(395)

我有一个10k行的csv，我想找出一些模式。我指的是apachespark文档的例子。在下面的例子中，我给出了列的列表，但是得到了一个错误。
输入列必须为空 ArrayType ，但是 StringType .

FPGrowthModel model = new FPGrowth()
  .setItemsCol("items")
  .setMinSupport(0.5)
  .setMinConfidence(0.6)
  .fit(itemsDF);

如何创建 ArrayType ?

Java Dataset apache-spark

来源：https://stackoverflow.com/questions/63262194/how-to-convert-row-from-csv-to-arraytype-in-apache-spark-java

1条答案

按热度按时间

093gszye1#

试试这个-

val new_itemsDF = itemsDF.withColumn("items", array(col("items")))
FPGrowthModel model = new FPGrowth()
  .setItemsCol("items")
  .setMinSupport(0.5)
  .setMinConfidence(0.6)
  .fit(new_itemsDF);

赞(0）回复(0）举报 2021-05-27

我来回答

如何在ApacheSparkJava中将行从csv转换为arraytype？

1条答案

相关问题

热门标签

最新问答