我有一个pyspark脚本，我希望该脚本每小时执行一次，这意味着每小时后该脚本应该得到执行。我怎样才能每小时执行一次脚本。我找了很多，但什么也没找到。
knsnq2tg1#
您可以使用以下任何一种方法https://developer.ibm.com/hadoop/2017/06/30/scheduling-spark-job-written-pyspark-sparkr-yarn-oozie/https://github.com/pinterest/pinballcron选项卡http://airflow.apache.org/scheduler.html
1条答案
按热度按时间knsnq2tg1#
您可以使用以下任何一种方法
https://developer.ibm.com/hadoop/2017/06/30/scheduling-spark-job-written-pyspark-sparkr-yarn-oozie/
https://github.com/pinterest/pinball
cron选项卡
http://airflow.apache.org/scheduler.html