我正在使用spark-es连接器向Elasticsearch(Azure Cloud)写入2000万行数据。成功写入1300万行数据后,出现以下错误:
Caused by: EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; tried [[.......westeurope.azure.elastic-cloud.com:9243]]
我的代码:从spark到Elastic的数据写入:
data
.write
.format("org.elasticsearch.spark.sql")
.option("es.nodes", node)
.option("es.port", port)
.option("es.net.http.auth.user", username)
.option("es.net.http.auth.pass", password)
.option("es.net.ssl", "true")
.option("es.nodes.wan.only", "true")
.option("es.mapping.id", "id")
.mode(writingMode)
.save(index)
任何帮助或建议将不胜感激!
1条答案
按热度按时间am46iovg1#
当你进行spark-submit时,试着使用以下参数:驱动程序存储器执行器存储器
对于我的设置,下面的工作。我不知道你的系统规格,你可以尝试用高值。
这个问题很可能与你在系统上施加的负载量有关,而不是你的Spark和ElasticSearch连接。