spark作业出错了：元素太多，无法创建一个powerset 34

r6vfmomb 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(287)

我尝试在mesos cluster查询弹性数据中运行spark作业，使用esjsonrdd查询类似于这样的内容：通过spark中的复杂过滤从elasticsearch获取esjsonrdd，并且对于少于32个节点的多节点弹性集群运行良好。随着弹性体中节点的增加，作业将失败，但以下情况除外：

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 37

如中所述https://github.com/elastic/elasticsearch-hadoop/issues/737
我在用橡皮筋 2.3.4 ，同一版本的elastic是否有解决方法？以下是我目前spark工作的渐变依赖项。

compile group: 'org.elasticsearch', name: 'elasticsearch-spark_2.11', version: '2.4.5'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.0'
compile group: 'org.elasticsearch', name: 'elasticsearch', version: '2.3.4'

hadoop elasticsearch apache-spark scalability

来源：https://stackoverflow.com/questions/45200366/spark-jobs-errored-out-with-too-many-elements-to-create-a-power-set-34

1条答案

按热度按时间

xv8emn3q1#

更改了 elasticsearch-spark 版本到 5.5.0 如中所述https://github.com/elastic/elasticsearch-hadoop/issues/737 而且成功了。

compile group: 'org.elasticsearch', name: 'elasticsearch-spark-20_2.11', version: '5.5.0'

赞(0）回复(0）举报 2021-05-29

我来回答

spark作业出错了：元素太多，无法创建一个powerset 34

1条答案

相关问题

热门标签

最新问答