$spark\u home中包含的hive-site.xml是什么样子的?

9udxz4iz  于 2021-06-02  发布在  Hadoop
关注(0)|答案(4)|浏览(435)

我是一个在Hive初学者,发生了一些事情(找不到表)当我开始Spark工作和读取数据从Hive。我没有在$spark\u home/conf中设置hive-site.xml?
提交Spark作业命令在这里

bin/spark-submit --master local[*] --driver-memory 8g --executor-memory 8g  --class com.ctrip.ml.client.Client /root/GitLab/di-ml-tool/target/di-ml-tool-1.0-SNAPSHOT.jar
wixjitnu

wixjitnu1#

我相信这可能取决于你使用的发行版。我最近遇到了这个问题,这为我解决了这个问题。我用的是hdp2.3.2所以我的 hive-site.xml 在Spark中 conf 文件夹仅包含以下内容:

<configuration>

  <property>
  <name>hive.metastore.uris</name>
  <value>thrift://host.xxx.com:9083</value>
  </property>

</configuration>
7uzetpgm

7uzetpgm2#

只需复制 hive-site.xmlconf 目录,它将工作。

klr1opcd

klr1opcd3#

在配置单元分发版上,您有一个模板文件,必须将其转换为自己的站点文件。
https://cwiki.apache.org/confluence/display/hive/adminmanual+configuration#adminmanualconfiguration-hive-site.xml和hive-default.xml.template
因此,首先必须通过复制hive-default.xml.template创建自己的hive-site.xml文件,然后才能从spark使用它。
如果不想使用默认文件,可以使用前面答案中显示的任何先前配置。

plicqrtu

plicqrtu4#

hive-site.xml如下所示。

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost/metastore_db?createDatabaseIfNotExist=true</value>
        <description>metadata is stored in a MySQL server</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>MySQL JDBC driver class</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>USER</value>
        <description>user name for connecting to mysql server </description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>PASSWORD</value>
        <description>password for connecting to mysql server </description>
    </property>
</configuration>

相关问题