如何从spark中的hiveavro表访问注解

y4ekin9u  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(240)

我在配置单元中有一个带有外部模式的avro表 ...STORED AS AVRO TBLPROPERTIES('avro.schema.url=/path/to/schema.avsc') 我可以从spark访问表及其数据。在第一次访问之后,spark似乎正在tableproperties中持久化读取模式: spark.sql.sources.schema.part.0 = {....} 当我在hdfs的schema.avsc文件中添加注解(doc)时,我可以在hive中看到注解,但在spark中看不到。我一解开所有钥匙 spark.sql 在tableproperties中,我还可以看到spark中的注解。
第二个问题是,我只能看到 spark.sql... 配置单元中的属性。
在spark中是否有可能清除tableproperties中的这个持久化模式? refresh table did not help

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题