已关闭。此问题需要details or clarity。当前不接受答案。
**想要改进此问题？**添加详细信息并通过editing this post阐明问题。
5天前关闭。
Improve this question
我有以下设置。一个模块“ExampleModule”通过蛋文件安装，其中包含以下代码。
def fetch_data(sql, sql_query_text):
data = sql(sql_query_text).toPandas()
print(data) # this gives me an EmptyDataframe with 0 rows and 28 columns在我的jupyter笔记本上运行着pyspark内核，我有下面的代码：
from pyspark.sql import SQLContext
sqlContext = SQLContext(spark)
sql = sqlContext.sql
from ExampleModule import *
sql_text = "<THE SELECT QUERY>"
fetch_data(sql, sql_text)这给了我一个空的 Dataframe 。但是，如果我定义了一个本地函数“fetch_data_local”，它运行良好，并给了我预期的43k行。
def fetch_data_local(sql, sql_text):
data = sql(sql_text).toPandas()
print(data.size)
fetch_data_local(sql, sql_text)上面的函数工作正常，给我43k行。
1条答案
按热度按时间gwbalxhn1#
我已经用Databricks社区版试过了，对我很有效
产出