我在当地做一个有Spark的工作。系统需要以下两个依赖项：
hadoop-aws-2.7.3.jar aws-java-sdk-1.7.4.jar 存储在路径：/users/sonmt/.ivy2/jars中（sonmt是我的用户名）。
但是，我无法在macos上使用finder（bigsur 11.2.3）找到这个位置。因此，任何关于如何找到该文件夹的建议，或任何其他导入这2个依赖项的方法（不使用mvn）。
非常感谢你的帮助。真诚的。
我在当地做一个有Spark的工作。系统需要以下两个依赖项：
hadoop-aws-2.7.3.jar aws-java-sdk-1.7.4.jar 存储在路径：/users/sonmt/.ivy2/jars中（sonmt是我的用户名）。
但是，我无法在macos上使用finder（bigsur 11.2.3）找到这个位置。因此，任何关于如何找到该文件夹的建议，或任何其他导入这2个依赖项的方法（不使用mvn）。
非常感谢你的帮助。真诚的。
1条答案
按热度按时间ndh0cuux1#
我解决了这个问题，看起来我无法访问users/sonmt/.ivy2目录，但是有另一种方法可以使用参数将依赖项导入spark submit命令
--packages在本例中，我使用了：spark-submit --packages com.amazonaws:aws-javasdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.3 /path/to/spark/job问题解决了！