我使用scala和spark，尝试为dataframe中的每一行执行post请求，并解析来自api的响应。df中的一列是每行的主体(co1，col2，col3..，主体）。执行以下命令是否正确：
val responses = df.map(r=> executePost(r))在这种情况下，spark将自动并行执行器之间的调用吗？
executepost—生成http post，并解析对case类的响应。
谢谢！
我使用scala和spark，尝试为dataframe中的每一行执行post请求，并解析来自api的响应。df中的一列是每行的主体(co1，col2，col3..，主体）。执行以下命令是否正确：
val responses = df.map(r=> executePost(r))在这种情况下，spark将自动并行执行器之间的调用吗？
executepost—生成http post，并解析对case类的响应。
谢谢！
1条答案
按热度按时间lh80um4z1#
是的，spark将并行调用，每个执行器将同时调用您的api。