我正在使用带aws胶水目录的spark2.4.4。
在我的spark工作中,如果数据库不存在,我需要用glue创建一个数据库。我在sparksql中使用以下语句来实现这一点。
spark.sql("CREATE DATABASE IF NOT EXISTS %s".format(hiveDatabase));
它的工作原理和预期的一样 spark-shell
,在glue中创建一个数据库。但是当我使用 spark-submit
,则不创建数据库。使用spark submit时是否需要提交/刷新?
编辑我得到了不同的结果 show databases
在 spark-shell
以及 spark-submit
:
+---------------------+
|databaseName |
+---------------------+
|all |
|default |
|hive-db |
|navi-database-account|
|navi-par |
|testdb |
+---------------------+
+------------+
|databaseName|
+------------+
|default |
+------------+
看起来spark submit正在某处创建db,但不是在glue中。
1条答案
按热度按时间cxfofazt1#
需要添加以下配置: