我正在尝试在hive中设置spark.sql.catalogImplementation。已经设置了spark.sql.catalogImplementation spark-defaults.conf通过Spark Notebook连接。当会话被初始化时，spark.sql.catalogImplementation从Spark Notebook设置为内存中。但是当我从服务器从pyspark shell访问它自己时，spark.sql.catalogImplementation设置为hive。（从spark环境变量检查它）。
从pyspark shell连接时，我可以列出我所有的数据库。但不能从pyspark shell连接。
我使用spark-magic从Spark集群中的Spark创建Spark会话。