我想连续运行spark应用程序(在docker容器中运行)。目前它正在ec2示例中运行。
下面是我期待实现的用例。
应用程序进程经常从kafka接收日志,所以即使kafka没有向应用程序推送任何日志,也不应该停止。。它应该继续听。
下面是我使用的spark submit
sudo docker run --rm -it --link master:master --volumes-from par_v1 my/spark-submit spark-submit --master spark://172.17.0.1:7077 /data/kafka_spark.py
请让我知道如何实现这个用例?
感谢你的帮助?
暂无答案!
目前还没有任何答案,快来回答吧!