spark:把hashmap放到dataset列中?

xxe27gdn  于 2021-05-18  发布在  Spark
关注(0)|答案(1)|浏览(557)

我有一个数据集 Dataset<Row> 它来自于读取Parquet文件。知道里面有一列 InfoMap 属于类型 Map .
现在我想更新这个专栏,但是当我使用 withColumn ,它告诉我不能把hashmap放进去,因为它不是一个literal。
我想知道更新数据集类型Map的列的正确方法是什么?

dphi5xsq

dphi5xsq1#

尝试使用typedlit而不是lit
类型DLIT
“…此函数与lit()的区别在于,此函数可以处理参数化的scala类型,例如:list、seq和map”

data.withColumn("dictionary", typedLit(Map("foo" -> 1, "bar" -> 2)))

相关问题