如何连续运行docker spark应用程序?

ohfgkhjo  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(252)

我想连续运行spark应用程序(在docker容器中运行)。目前它正在ec2示例中运行。
下面是我期待实现的用例。
应用程序进程经常从kafka接收日志,所以即使kafka没有向应用程序推送任何日志,也不应该停止。。它应该继续听。
下面是我使用的spark submit

sudo docker run --rm -it --link master:master --volumes-from par_v1 my/spark-submit spark-submit --master spark://172.17.0.1:7077 /data/kafka_spark.py

请让我知道如何实现这个用例?
感谢你的帮助?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题