hive Spark SQL中的数组交集

cotxawn7 于 2023-01-20 发布在 Hive

关注(0)|答案(2)|浏览(212)

我有一个表，其中有一个名为writer的数组类型列，其值为array[value1, value2]、array[value2, value3]等。
我正在执行self join以获取数组之间具有公共值的结果。我尝试了：

sqlContext.sql("SELECT R2.writer FROM table R1 JOIN table R2 ON R1.id != R2.id WHERE ARRAY_INTERSECTION(R1.writer, R2.writer)[0] is not null ")

还有

sqlContext.sql("SELECT R2.writer FROM table R1 JOIN table R2 ON R1.id != R2.id WHERE ARRAY_INTERSECT(R1.writer, R2.writer)[0] is not null ")

但也有例外：
线程“main”中出现异常。未定义的函数：“ARRAY_INTERSECT”。此函数既不是注册的临时函数，也不是在数据库“default”中注册的永久函数。线路1位置80
Spark SQL可能不支持ARRAY_INTERSECTION和ARRAY_INTERSECT，我如何在Spark SQL中实现我的目标？

Hive

来源：https://stackoverflow.com/questions/42708014/array-intersection-in-spark-sql

2条答案

按热度按时间

n7taea2i1#

由于Spark 2.4 array_intersect函数可直接用于SQL

spark.sql(
  "SELECT array_intersect(array(1, 42), array(42, 3)) AS intersection"
).show()

+------------+
|intersection|
+------------+
|        [42]|
+------------+

和Dataset API：
一个二个一个一个
其他语言中也存在等效函数：

在PySpark中的pyspark.sql.functions.array_intersect。
Spark塞中的SparkR::array_intersect。

赞(0）回复(0）举报 2023-01-20

kwvwclae2#

你需要一个udf：

import org.apache.spark.sql.functions.udf

spark.udf.register("array_intersect", 
  (xs: Seq[String], ys: Seq[String]) => xs.intersect(ys))

然后检查交集是否为空：

scala> spark.sql("SELECT size(array_intersect(array('1', '2'), array('3', '4'))) = 0").show
+-----------------------------------------+
|(size(UDF(array(1, 2), array(3, 4))) = 0)|
+-----------------------------------------+
|                                     true|
+-----------------------------------------+

scala> spark.sql("SELECT size(array_intersect(array('1', '2'), array('1', '4'))) = 0").show
+-----------------------------------------+
|(size(UDF(array(1, 2), array(1, 4))) = 0)|
+-----------------------------------------+
|                                    false|
+-----------------------------------------+

赞(0）回复(0）举报 2023-01-20

我来回答

hive Spark SQL中的数组交集

2条答案

相关问题

热门标签

最新问答