我用的是jupyter笔记本。
下面是所提到的用于连接的代码 pyspark 到sqlite：
driver = "org.sqlite.JDBC"
path = "/data/flight-data/jdbc/my-sqlite.db"
url = "jdbc:sqlite:" + path
tablename = "flight_info"
dbDataFrame = spark.read.format("jdbc").option("url", url)\
.option("dbtable", tablename).option("driver", driver).load()这会导致以下错误：
Py4JJavaError: An error occurred while calling o121.load.
: java.lang.ClassNotFoundException: org.sqlite.JDBC请帮我解决这个错误。
1条答案
按热度按时间wribegjk1#
问题
使用JDBCAPI的spark找不到类“org.sqlite.jdbc”，因为它不在spark的类路径中。
解决方案
您可以从-->maven联机存储库下载jar文件并将其放置在
jars文件夹。重新启动笔记本/应用程序参考/资源
来自maven的sqlite jdbc下载链接-https://repo1.maven.org/maven2/org/xerial/sqlite-jdbc/3.28.0/sqlite-jdbc-3.28.0.jar