pyspark 如何在PyCharm中使用databricks utils函数?我找不到合适的pip包

xlpyo6sf  于 2022-12-17  发布在  Spark
关注(0)|答案(1)|浏览(188)

PyCharm IDE。我想在模块中使用dbutils.widgets.get(),然后将此模块导入数据库。我已经尝试使用pip install databricks-clientpip install databricks-utilspip install DBUtils

wooyq4lh

wooyq4lh1#

dbutils只能作为databricks-connect package的一部分使用。它的文档包含了如何设置PyCharm来使用它的详细描述。Ut也包括了如何使用dbutils
您可能需要定义以下 Package 器,以便能够在本地和数据块上使用dbutils

def get_dbutils(spark):
  from pyspark.dbutils import DBUtils
  return DBUtils(spark)

get_dbutils().fs.cp('file:/home/user/data.csv', 'dbfs:/uploads')

相关问题