centos7配置hive与spark-sql交互
1.配置hive-site.xml文件
原来的值
将<name>hive.metastore.schema.verification</name>的值改为false
<value>false</value>
2. hive中的hive-site.xml文件复制到spark/conf目录下
cp /opt/hive/conf/hive-site.xml /opt/spark/conf
3.将mysql驱动复制到spark/jars(lib)目录下
4.配置spark-env.sh文件
在末尾添加
export SPARK_CLASSPATH=/opt/spark/jars(lib)/mysql-connector-java-5.1.44-bin.jar5. 修改spark/con/log4j.properties文件
将log4j.rootCategory=INFO, console中的INFO改为WARN
6. 启动hive的metastore服务
hive --service metastore &
7. 启动hive和spark-sql
8. hive与spark-sql数据库已经相互连接
Hive：
Spark-sql：
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://blog.csdn.net/weixin_44912902/article/details/124743521
内容来源于网络，如有侵权，请联系作者删除！