如何将数据从.sqlite文件拉入Databricks Spark?

92dk7w1h  于 2023-01-21  发布在  SQLite
关注(0)|答案(1)|浏览(116)

我在Kaggle上找到了一个我喜欢的数据集,但是唯一的下载选项是一个.sqlite文件,其中有三个表。无论如何,我可以从数据库访问这些数据吗?

yhxst69z

yhxst69z1#

如果使用的是pyspark和SQLContext,请尝试以下代码。
将extraClassPath添加到您的spark配置文件中。spark.执行器。extraClassPath =<jdbc.jar>
代码片段:

from pyspark import SparkContext
sc = SparkContext.getOrCreate()
from pyspark.sql import SQLContext
sqlCtx = SQLContext(sc)

sqlContext.read.format("jdbc").options(
    url="jdbc:sqlite:{folder_path}/{file_name}.db",
    driver="org.sqlite.JDBC",
    dbtable="employee")
    .load().take(10)

相关问题