访问spark.read teradata sql查询中的临时sparkDataframe

nukf8bse  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(271)

假设您有一个Dataframe df ,在spark中注册为临时视图。
是否有可能访问Dataframe中的 spark.read teradata sql命令?

df = spark.createDataFrame([(1, 5), (2, 6),], ['id', 'val'])
df = createOrReplaceTempView('df')

td_query = """( 
SELECT * FROM EX_SCHEMA.EX_TABLE AS EX_TABLE LEFT JOIN df ON (EX_TABLE.ID = df.ID)
) qry
"""
df_td = spark.read.format('jdbc').option('driver', 'com.teradata.jdbc.TeraDriver')\
.option('url', url).option('user', user_td).option('password', password_td)\
.option('dbtable', td_query).load()

我知道左连接可以很容易地在spark中完成,这只是主要问题的一个例子。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题