当我尝试在一个EMR示例上运行Spark 2.1.0中的MlLib ALS算法时，我一直收到臭名昭著的警告：
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS字符串
我在本地Ubuntu机器上通过重新构建Spark来包含带有-Pnetlib-lgpl标志的netlib-java来解决这个问题，但是有没有办法避免重新构建默认的EMR Spark构建？目前我正在尝试通过使用sbt-assembly构建一个fat编译器来规避它，添加以下依赖项：
第一个月
虽然组装成功了，但是当运行spark-submit时，BLAS警告仍然没有消失。
1条答案
按热度按时间unftdfkk1#
好吧，看起来不可能用一个胖的Spark来做，所以我构建了一个自定义的Spark发行版，如下所示：
字符串
并将EMR上的/usr/lib/spark目录替换为我的构建版本。