Azure Synapse中pyspark的GraphFrames

yhived7q 于 2023-05-18 发布在 Apache

关注(0)|答案(1)|浏览(217)

我正在尝试在Azure Synapse上运行基本的graphframes python sample。当我上传正确的.jar file from here并用scala编写代码时，它工作得很好。但是在运行Python版本的代码时，同一个.jar文件不会被拾取（它抛出了一个ModuleNotFoundError）。在Azure Synapse文档中暗示，python包只能作为.whl文件上传。然而，除了pip中的0.6.0文件（不支持spark 3.x）之外，似乎没有任何版本的graphframes wheels文件。
所以问题是，我怎样才能让图形框架在synapse上工作？
或者，我如何从匹配的.jar创建一个.whl文件？

apache-spark

来源：https://stackoverflow.com/questions/76265694/graphframes-for-pyspark-in-azure-synapse

1条答案

按热度按时间

c6ubokkw1#

所以，显然，不需要jar，轮子或花哨的table。在笔记本的开头添加以下内容：

%%configure -f
{    
    "conf": {
        "spark.jars.packages": "graphframes:graphframes:0.8.2-spark3.2-s_2.12"
    }
}

（shoutout to chat GPT）

赞(0）回复(0）举报 2023-05-18

我来回答

Azure Synapse中pyspark的GraphFrames

1条答案

相关问题

热门标签

最新问答