如何将数据从.sqlite文件拉入Databricks Spark？

92dk7w1h 于 2023-01-21 发布在 SQLite

关注(0)|答案(1)|浏览(100)

我在Kaggle上找到了一个我喜欢的数据集，但是唯一的下载选项是一个.sqlite文件，其中有三个表。无论如何，我可以从数据库访问这些数据吗？

sqlite

来源：https://stackoverflow.com/questions/75142226/how-can-i-pull-data-from-a-sqlite-file-into-databricks-spark

1条答案

按热度按时间

yhxst69z1#

如果使用的是pyspark和SQLContext，请尝试以下代码。
将extraClassPath添加到您的spark配置文件中。spark.执行器。extraClassPath =<jdbc.jar>
代码片段：

from pyspark import SparkContext
sc = SparkContext.getOrCreate()
from pyspark.sql import SQLContext
sqlCtx = SQLContext(sc)

sqlContext.read.format("jdbc").options(
    url="jdbc:sqlite:{folder_path}/{file_name}.db",
    driver="org.sqlite.JDBC",
    dbtable="employee")
    .load().take(10)

赞(0）回复(0）举报 2023-01-21

我来回答

如何将数据从.sqlite文件拉入Databricks Spark？

1条答案

相关问题

热门标签

最新问答