在Apache Spark中加载sqlite
文件。
我试着这样做:
emailsDf = spark.read.format('sqlite').load("/FileStore/tables/24ioztln1479471916526/database.sqlite")
但它不起作用:
java.lang.ClassNotFoundException: Failed to find data source: sqlite. Please find packages at https://cwiki.apache.org/confluence/display/SPARK/Third+Party+Projects
加载sqlite
文件的最佳方法是什么?
2条答案
按热度按时间vcirk6k61#
我会将数据库导出到一个CSV文件,并使用DB Browser for SQLite:
Open Database
按钮1.选择数据库文件
File → Export → Table(s) as CSV file
,默认值应该没问题然后使用spark-csv将CSV文件加载到Spark框架中(参见链接以获取示例)。
否则,您也可以尝试使用JDBC连接到数据库的托管示例。
ca1c2owp2#
.format('sqlite')不存在。你必须使用jdbc连接到sqlite。
运行应用程序时,类路径中必须有sqlite-jdbc-X.jar,并且要使用合适的版本。