pyspark 有没有办法用sqlalchemy连接Spark-Sql

cygmwpex 于 2023-10-15 发布在 Spark

关注(0)|答案(3)|浏览(106)

有没有一种方法可以连接Spark-Sql和sqlalchemy我有使用sqlalchemy的遗留代码我如何让它使用spark-sql，我可以让sqlalchemy作为spark-sql的转换层吗？

3条答案

是的，看看这个项目https://github.com/dropbox/PyHive
您需要做一些调整，幸运的是SQLAlchemy就是为此而构建的

虽然PyHive是一个受欢迎的选择，但考虑探索SparkORM。这个库在PyPi和GitHub上可用，简化了Spark-SQL中的模式维护和表创建，提供了轻松的可扩展性。值得一试的是，它可以与现有的基于SQLAlemony的代码进行直接集成。

简短回答：不！这就像我们可以使用PostgreSQL和Spark-SQL一样。Spark-SQL有自己的SQL方言，并遵循更多的Hive风格。您应该转换您的sqlalchemy代码以符合Spark-SQL。