我是一个在Hive初学者,发生了一些事情(找不到表)当我开始Spark工作和读取数据从Hive。我没有在$spark\u home/conf中设置hive-site.xml?
提交Spark作业命令在这里
bin/spark-submit --master local[*] --driver-memory 8g --executor-memory 8g --class com.ctrip.ml.client.Client /root/GitLab/di-ml-tool/target/di-ml-tool-1.0-SNAPSHOT.jar
4条答案
按热度按时间wixjitnu1#
我相信这可能取决于你使用的发行版。我最近遇到了这个问题,这为我解决了这个问题。我用的是hdp2.3.2所以我的
hive-site.xml
在Spark中conf
文件夹仅包含以下内容:7uzetpgm2#
只需复制
hive-site.xml
至conf
目录,它将工作。klr1opcd3#
在配置单元分发版上,您有一个模板文件,必须将其转换为自己的站点文件。
https://cwiki.apache.org/confluence/display/hive/adminmanual+configuration#adminmanualconfiguration-hive-site.xml和hive-default.xml.template
因此,首先必须通过复制hive-default.xml.template创建自己的hive-site.xml文件,然后才能从spark使用它。
如果不想使用默认文件,可以使用前面答案中显示的任何先前配置。
plicqrtu4#
hive-site.xml如下所示。