在spark流媒体中,有哪些方法可以提高洗牌性能?基本上,我使用spark streaming(1.6.2)和kafka(0.10)每天处理100 PB的数据,由于数据速度非常大,所以要稳定整个流应用程序变得非常困难。执行了所有的代码级优化并减少了洗牌。寻找一些核心调优配置,至少可以提高洗牌性能。
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!