在hadoop中,我可以在配置文件中使用变量,hadoop将使用现有键或 -Dvariable_name=value
的 HADOOP_OPTS
.
例如,给定 core-site.xml
:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>${fs.defaultFS}</value>
</property>
</configuration>
在启动hdfs时,我设置了一个环境变量 HADOOP_OPTS=-Dfs.defaultFS=<value>
hadoop将在 core-site.xml
在中使用选项 HADOOP_OPTS
.
在sparkshell中,它不展开变量,而是使用它们的文本值 ${fs.defaultFS}
.
...
Caused by: java.net.URISyntaxException: Illegal character in authority at index 7: hdfs://${fs.defaultFS}
at java.net.URI$Parser.fail(Unknown Source)
at java.net.URI$Parser.parseAuthority(Unknown Source)
at java.net.URI$Parser.parseHierarchical(Unknown Source)
at java.net.URI$Parser.parse(Unknown Source)
at java.net.URI.<init>(Unknown Source)
... 66 more
如何生成hadoop配置变量?
暂无答案!
目前还没有任何答案,快来回答吧!