来自spark流媒体编程指南:将逻辑扩展到在集群上运行,分配给spark流应用程序的核心数必须大于接收器数。否则系统将接收数据,但无法对其进行处理。这是否意味着,如果我在整个spark集群中有16个cpu内核,我就不能读取超过15个kafka主题的数据?
x3naxklr1#
仅当您使用基于使用者/接收器的api时。这不适用于直接流。看看这两者的区别
1条答案
按热度按时间x3naxklr1#
仅当您使用基于使用者/接收器的api时。这不适用于直接流。
看看这两者的区别