已关闭。此问题需要details or clarity。当前不接受答案。
**想要改进此问题?**添加详细信息并通过editing this post阐明问题。
5天前关闭。
Improve this question
我有以下设置。一个模块“ExampleModule”通过蛋文件安装,其中包含以下代码。
def fetch_data(sql, sql_query_text):
data = sql(sql_query_text).toPandas()
print(data) # this gives me an EmptyDataframe with 0 rows and 28 columns
在我的jupyter笔记本上运行着pyspark内核,我有下面的代码:
from pyspark.sql import SQLContext
sqlContext = SQLContext(spark)
sql = sqlContext.sql
from ExampleModule import *
sql_text = "<THE SELECT QUERY>"
fetch_data(sql, sql_text)
这给了我一个空的 Dataframe 。但是,如果我定义了一个本地函数“fetch_data_local”,它运行良好,并给了我预期的43k行。
def fetch_data_local(sql, sql_text):
data = sql(sql_text).toPandas()
print(data.size)
fetch_data_local(sql, sql_text)
上面的函数工作正常,给我43k行。
1条答案
按热度按时间gwbalxhn1#
我已经用Databricks社区版试过了,对我很有效
产出