hdp：如何更改hadoop\u类路径值

a14dhokn 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(410)

我需要给 HADOOP_CLASSPATH 环境变量，根据本文：https://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.3.2/bk_installing_manually_book/content/troubleshooting-phoenix.html
我打字的时候 echo $HADOOP_CLASSPATH 在控制台中，我得到一个空结果。我想我需要在config.xml文件中设置这些值。。。
在何处或如何将此新值设置为环境变量？
我能把它放进去吗 spark-submit ?

hadoop apache-spark hortonworks-data-platform

来源：https://stackoverflow.com/questions/38239577/hdp-how-to-change-hadoop-classpath-value

2条答案

按热度按时间

yx2lnoni1#

您可以在spark-env.sh中添加环境变量hadoop\u conf\u dir，这样无论何时运行spark submit，它都会自动选择所有环境变量。此环境变量值是hadoop配置的路径。
export hadoop\u conf\u dir=将spark指向hadoop配置文件

赞(0）回复(0）举报 2021-06-02

qjp7pelc2#

通过将jar路径添加到 spark-submit 通过呼叫 --driver-class-path 参数：

spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --driver-class-path "/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar

通过设置 --conf 参数如下：

spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --conf "spark.driver.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar

让他们中的一个去做！
同时添加 --conf "spark.executor.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" 给你的 spark-submit 如果仍然出现异常（在执行器上启动代码时可能发生，而不是在主机上）

赞(0）回复(0）举报 2021-06-02

我来回答

hdp：如何更改hadoop\u类路径值

2条答案

相关问题

热门标签

最新问答