我在python中内置了一个api，它可以访问多个端点，但是现在我必须修改代码并将其放入pyspark中。例如，我点击authenization，然后我进行搜索，然后我点击另一个端点，在那里我收集一些站点信息，然后我点击我的最后一个端点，在那里我开始将数据集拉入pandas。有没有可能在Pypark里做同样的事情？我试过用自定义项来实现这一点，但是pyspark缺少很多功能。然后我试图将python代码保存在那里，但我开始陷入困境。
你有没有想过解决这个问题的最佳方法是什么？