spark尝试连接到localhost而不是配置的服务器

sycxhyv7  于 2021-05-29  发布在  Hadoop
关注(0)|答案(5)|浏览(469)

此错误信息显示:
查询中出错:org.apache.hadoop.hive.ql.metadata.hiveexception:metaexception(message:got exception:java.net.connectexception从undefined.hostname.localhost/192.168.xx.调用到localhost:9000 failed on连接异常:java.net.connectexception:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/connectionrefused);
我不明白我为什么要去参观博物馆localhost:9000,my core-site.xml中的主机是hdfs://192.168.xx.xx:9000,我为什么要来localhost:9000
它是默认主机吗?

6qqygrtg

6qqygrtg1#

您的错误与hdfs有关,而不是hive或sparksql
你需要确保你的 HADOOP_HOME 或者 HADOOP_CONF_DIR 是否在 spark-env.sh 如果您想连接到正确的hadoop环境,而不是使用默认值。

xtfmy6hx

xtfmy6hx2#

我在mysql中重置了metastore。当时我在core-site.xml中使用localhost,初始化了metastore,所以我重置了metastore,问题就解决了。

toiithl6

toiithl63#

首先,转到mysql命令行,删除在hive-site.xml中设置的数据库(metastore)。
然后,将dictory改为$hive\u home/bin,执行schematool-initschema-dbtype mysql,问题就解决了,因为mysql中的metastore太晚了(我已经在待机环境中设置了metastore),我稍后会转向集群环境,但是metastore是前面的,所以我可以在hive中创建表,而不是在sparksql中。
谢谢帮助我的人@ravikumar,@cricket_007

7jmck4yq

7jmck4yq4#

在hive-site.xml中,可以如下配置。请配置配置单元元存储详细信息。

<property>
<name>fs.defaultFS</name>
<value>hdfs://ip-xx.xx.xx.xx:8020</value>
</property>

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip-xx.xx.xx:9083</value>
</property>

<property>
<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost/metastorecreateDatabase
IfNotExist=true</value>
<description>metadata is stored in a MySQL server</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>MySQL JDBC driver class</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>user name for connecting to mysql server </description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password for connecting to mysql server </description>
</property>
</configuration>
xqkwcwgp

xqkwcwgp5#

请确保您的spark config目录/etc/spark/conf/中存在hive-site.xml,并配置配置单元配置设置。


## core-site.xml

fs.defaultFS

## Hive config

hive.metastore.uris

相关问题