当在hive中执行show create table时，我们在语句中为内部表和外部表都提供了location url。但是当通过spark（pyspark）执行相同的语句时，只有当表是外部表时，我们才有location。是否有任何设置也为内部表提供此location？
我想收集从onprem到databricks的所有表的create语句和位置。Databricks还显示内部表的create语句和位置。
我们可以从位置从desc表。但我想知道是否有调整有它在show create table。
配置单元示例：
show create table db1.table1在pyspark中：
createStatement = spark.sql("show create table db1.table1")
createStatement.show()
1条答案
按热度按时间pwuypxnk1#
下面是scala spark的相关答案。
您也可以使用相同的方法，查询用于保存所有spark表信息的数据库（Spark Metastore）。
您还应该知道，默认情况下，内部数据库/表遵循以下format：（database是数据库的名称，tablename是表的名称。