我们可以使用spark connector在大查询中查询具体化视图吗?

ewm0tg9j  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(264)

我正在尝试使用dataproc集群上的spark connector查询big query中的物化视图。但是,它给了我以下信息error:-

var df = spark.read.format("bigquery")
  .option("table", "proj1:ds1.mat_view"). 
  .option("viewsEnabled","true")
  .option("viewMaterializationProject","proj1")
  .option("viewMaterializationDataset","ds1").load()

java.lang.unsupportedoperationexception:当前不支持表proj1.ds1.mat\视图的类型:com.google.cloud.spark.bigquery.bigqueryrelationprovider.createrelationinternal(bigqueryrelationprovider)上的materialized\视图。scala:70)在com.google.cloud.spark.bigquery.bigqueryrelationprovider.createrelation(bigqueryrelationprovider。scala:37)位于org.apache.spark.sql.execution.datasources.datasource.resolvererelation(datasource。scala:318)位于org.apache.spark.sql.dataframereader.loadv1source(dataframereader。scala:223)在org.apache.spark.sql.dataframereader.load(dataframereader。scala:211)
位于org.apache.spark.sql.dataframereader.load(dataframereader。scala:167)
... 49省略
如果有什么办法,请帮忙?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题