Spark和Delta Lake [解决依赖关系(Maven和Spark存储库)]

yyyllmsg  于 2023-03-03  发布在  Apache
关注(0)|答案(1)|浏览(156)

晚上好,
我将不得不在S3上使用Spark,使用 parquet 作为文件格式,使用Delta Lake作为"数据管理"。Spark和S3之间的链接已经解决。但是当我尝试在Spark上使用DeltaLake(使用Python)时...我得到这个错误:

----------------------------------------------------------------------------------

>           ::::::::::::::::::::::::::::::::::::::::::::::
>     
>           ::          UNRESOLVED DEPENDENCIES         ::
>     
>           ::::::::::::::::::::::::::::::::::::::::::::::
>     
>           :: io.delta#delta-core_2.12;2.2.0: not found
>     
>           ::::::::::::::::::::::::::::::::::::::::::::::
>     
>     
>     :::: ERRORS
>       Server access error at url https://repo1.maven.org/maven2/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.pom
> (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>     
>       Server access error at url https://repo1.maven.org/maven2/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.jar
> (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>     
>       Server access error at url https://repos.spark-packages.org/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.pom (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>     
>       Server access error at url https://repos.spark-packages.org/io/delta/delta-core_2.12/2.2.0/delta-core_2.12-2.2.0.jar (javax.net.ssl.SSLException: Unexpected error:
> java.security.InvalidAlgorithmParameterException: the trustAnchors
> parameter must be non-empty)
>     
>     ---------------------------------------------------------------------------
>

我知道此错误与HTTPS和SSL证书有关(当尝试连接到maven或spark repo时),以及存储在服务器中的证书(/etc/ssl/certs/java/cacerts).我已经重新安装了openjdk 11,更新了证书,正在执行post insall ca-certificates-java。但错误仍然存在。我想有人告诉我如何找到更多关于这个错误的信息,并知道java是否在寻找证书的好目录,证书是好是坏。错误的日志不是那么明确。。而且我已经深入研究了stackoverflow来寻找解决方案。但是没有任何东西解决了这个问题。
谢谢你的帮忙
祝你晚上愉快
B.
重新安装openjdk-11更新www.example.com,java配置中的安全性(通知java有关JKS格式和缓存位置)management.properties, security in java configuration (inform java about JKS format and cacerts location)

相关问题