为了限制spark结构化流日志文件的日志，我正在修改spark的conf。我已经找到了这样做的属性，但它现在不工作。我需要重新启动所有节点（名称和工作节点）还是重新启动作业就足够了。我们正在使用googledataproc集群和运行spark with yarn。
ttp71kqs1#
最简单的方法是在集群创建期间使用dataproc集群属性设置这些属性：
gcloud dataproc clusters create $CLUSTER_NAME \ --properties spark:<key>=<value>,yarn:<key>=<value>
或者在提交spark应用程序时设置它们。
1条答案
按热度按时间ttp71kqs1#
最简单的方法是在集群创建期间使用dataproc集群属性设置这些属性：
或者在提交spark应用程序时设置它们。