我想使用一个spark作业的输出作为另一个spark作业的输入数据。有可能吗？
qnakjoqk1#
对。只要输出存储在某个地方。
jjjwad0x2#
这两项工作的区别是什么？您可以在job#2中重用job#1中的rdd，或者（如前所述）您需要将它存储在某个位置，并在job#2的开头从那里读取它。
2条答案
按热度按时间qnakjoqk1#
对。只要输出存储在某个地方。
jjjwad0x2#
这两项工作的区别是什么？您可以在job#2中重用job#1中的rdd，或者（如前所述）您需要将它存储在某个位置，并在job#2的开头从那里读取它。