将数据从spark写入elasticsearch:连接错误

5ktev3wc  于 2022-11-02  发布在  ElasticSearch
关注(0)|答案(1)|浏览(128)

我正在使用spark-es连接器向Elasticsearch(Azure Cloud)写入2000万行数据。成功写入1300万行数据后,出现以下错误:

Caused by: EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; tried [[.......westeurope.azure.elastic-cloud.com:9243]]

我的代码:从spark到Elastic的数据写入:

data
          .write
          .format("org.elasticsearch.spark.sql")
          .option("es.nodes", node)
          .option("es.port", port)
          .option("es.net.http.auth.user", username)
          .option("es.net.http.auth.pass", password)
          .option("es.net.ssl", "true")
          .option("es.nodes.wan.only", "true")
          .option("es.mapping.id", "id")
          .mode(writingMode)
          .save(index)

任何帮助或建议将不胜感激!

am46iovg

am46iovg1#

当你进行spark-submit时,试着使用以下参数:驱动程序存储器执行器存储器
对于我的设置,下面的工作。我不知道你的系统规格,你可以尝试用高值。

/spark/bin/spark-submit --driver-memory 4g --executor-memory 6g <jarname.jar>

这个问题很可能与你在系统上施加的负载量有关,而不是你的Spark和ElasticSearch连接。

相关问题