假设您有一个Dataframe df
,在spark中注册为临时视图。
是否有可能访问Dataframe中的 spark.read
teradata sql命令?
即
df = spark.createDataFrame([(1, 5), (2, 6),], ['id', 'val'])
df = createOrReplaceTempView('df')
td_query = """(
SELECT * FROM EX_SCHEMA.EX_TABLE AS EX_TABLE LEFT JOIN df ON (EX_TABLE.ID = df.ID)
) qry
"""
df_td = spark.read.format('jdbc').option('driver', 'com.teradata.jdbc.TeraDriver')\
.option('url', url).option('user', user_td).option('password', password_td)\
.option('dbtable', td_query).load()
我知道左连接可以很容易地在spark中完成,这只是主要问题的一个例子。
暂无答案!
目前还没有任何答案,快来回答吧!