我正在通过scala代码运行spark1.5.1并调用als-train方法（mllib）。我的代码使用mesos执行器。由于数据很大，我得到以下错误：
2003年11月15日12:53:45信息tasksetmanager:在阶段0.0中启动任务7.0（tid 7，进程\u local，128730328字节）[libprotobuf error google/protobuf/io/coded\u stream.cc:171]协议消息被拒绝，因为它太大（超过67108864字节）。若要增加限制（或禁用这些警告），请参阅google/protobuf/io/coded\u stream.h中的codedinputstream:：settotalbyteslimit（）。
关于如何提高限额有什么想法吗？
1条答案
按热度按时间iyfjxgzm1#
听起来你好像达到了“spark.kryoserializer.buffer.max”的极限。检查protobuf是否使用kryo序列化程序。如果是，您需要将“spark.kryoserializer.buffer.max”的限制设置为2047m。
http://spark.apache.org/docs/1.5.1/configuration.html