在合并操作中可以读取Dataframe吗

roqulrg3  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(299)

在下面的示例产品中,新的是一个Dataframe。是否可以在合并操作中直接使用product\u new而不是声明为临时表?当前product\u new dataframe存储为一个诱人的名为product\u new\u temp的Dataframe,用于合并操作。合并操作中是否直接调用产品\新Dataframe?当我在合并中直接使用product\u new时,会出现无效的表/视图错误。spark/databricks公司

product = spark.read.format('csv').options(header='true',inferSchema='true').load("/FileStore/tables/product-1.csv")
product.write.format("delta").saveAsTable("product_delta_table")

product_new = spark.read.format('csv').options(header='true',inferSchema='true').load("/FileStore/tables/product_delta.csv")
product_new.createOrReplaceTempView("product_new_temp")

%sql
MERGE INTO product_delta_table
USING**product_new_temp**
ON product_delta_table.productCode =**product_new_temp**.productCode
WHEN MATCHED
THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;

select * from product_delta_table order by productCode

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题