执行spark submit时是否有方法重写核心站点属性值？我可以在spark-env.sh中使用hadoop\u conf\u dir变量来指向一个新的核心站点文件，但我只想覆盖几个值，以便为每个spark作业使用不同的存储帐户。
oxiaedzo1#
找到了我自己问题的答案。通过将“spark.hadoop”预先固定到属性键，然后提交给sparkconf，可以覆盖与hadoop相关的配置。i、 e.spark submit--sparkconf spark.hadoop.io.file.buffer.size 12952请参见此处的源代码：https://github.com/apache/spark/commit/b6cf1348170951396a6a5d8a65fb670382304f5b
1条答案
按热度按时间oxiaedzo1#
找到了我自己问题的答案。
通过将“spark.hadoop”预先固定到属性键，然后提交给sparkconf，可以覆盖与hadoop相关的配置。
i、 e.spark submit--sparkconf spark.hadoop.io.file.buffer.size 12952
请参见此处的源代码：https://github.com/apache/spark/commit/b6cf1348170951396a6a5d8a65fb670382304f5b