我尝试在Kubernetes集群上运行spark job，但是它失败了，出现了类未找到异常。我认为原因是它无法从JFrog Artifactory存储库中提取jar文件。有什么建议吗？我们可以在spark submit的参数中包含一些东西或者创建一个密码文件吗？
wz3gfoph1#
您没有提到在本地测试作业时如何确定如何拉取jar，或者您可能还没有测试它。Spark使用以下URL方案来允许不同的jar传播策略：高清文件系统：、http：、https：、文件传输协议：- 这些按预期从URI下拉文件和JAR以及：用户还可以通过提供一个逗号分隔的Maven坐标列表和--packages来包含任何其他依赖项。所有可传递的依赖项都将在使用此命令时处理。（或SBT中的解析器）可以使用标志--repository以逗号分隔的方式添加。（注意，在某些情况下，可以在存储库URI中提供受密码保护的存储库的凭证，例如在https://user:password@host/中....以这种方式提供凭据时要小心。）如果您是Jfrog repo或Jar文件需要凭据看起来像你将不得不在URL中传递凭据：https://user:password@host/...
https://user:password@host/...
1条答案
按热度按时间wz3gfoph1#
您没有提到在本地测试作业时如何确定如何拉取jar，或者您可能还没有测试它。
Spark使用以下URL方案来允许不同的jar传播策略：高清文件系统：、http：、https：、文件传输协议：- 这些按预期从URI下拉文件和JAR
以及：
用户还可以通过提供一个逗号分隔的Maven坐标列表和--packages来包含任何其他依赖项。所有可传递的依赖项都将在使用此命令时处理。（或SBT中的解析器）可以使用标志--repository以逗号分隔的方式添加。（注意，在某些情况下，可以在存储库URI中提供受密码保护的存储库的凭证，例如在https://user:password@host/中....以这种方式提供凭据时要小心。）
如果您是Jfrog repo或Jar文件需要凭据看起来像你将不得不在URL中传递凭据：
https://user:password@host/...