晚上好,
我将不得不在S3上使用Spark,使用 parquet 作为文件格式,使用Delta Lake作为"数据管理"。Spark和S3之间的链接已经解决。但是当我尝试在Spark上使用DeltaLake(使用Python)时...我得到这个错误:
----------------------------------------------------------------------------------
> ::::::::::::::::::::::::::::::::::::::::::::::
>
> :: UNRESOLVED DEPENDENCIES ::
>
> ::::::::::::::::::::::::::::::::::::::::::::::
>
> :: io.delta#delta-core_2.12;2.2.0: not found
>
> ::::::::::::::::::::::::::::::::::::::::::::::
>
>
> :::: ERRORS
> Server access error at url https://repo1.maven.org/maven2/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.pom
> (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>
> Server access error at url https://repo1.maven.org/maven2/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.jar
> (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>
> Server access error at url https://repos.spark-packages.org/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.pom (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>
> Server access error at url https://repos.spark-packages.org/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.jar (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>
> ---------------------------------------------------------------------------
>
我知道此错误与HTTPS和SSL证书有关(当尝试连接到maven或spark repo时),以及存储在服务器中的证书(/etc/ssl/certs/java/cacerts).我已经重新安装了openjdk 11,更新了证书,正在执行post insall ca-certificates-java。但错误仍然存在。我想有人告诉我如何找到更多关于这个错误的信息,并知道java是否在寻找证书的好目录,证书是好是坏。错误的日志不是那么明确。。而且我已经深入研究了stackoverflow来寻找解决方案。但是没有任何东西解决了这个问题。
谢谢你的帮忙
祝你晚上愉快
B.
重新安装openjdk-11更新www.example.com,java配置中的安全性(通知java有关JKS格式和缓存位置)management.properties, security in java configuration (inform java about JKS format and cacerts location)
1条答案
按热度按时间uttx8gqw1#
java.security.InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty on Linux, or why is the default truststore empty
你确定这不是JAVA路径的问题吗?Spark是基于运行在Java虚拟机上的Scala的。只是一个想法。