如何在不安装hadoop和不设置dll库（例如，对于windows）的情况下将Parquet数据加载到s3中 HADOOP_HOME ?在java项目中需要使用什么样的依赖关系？现在我用
HADOOP_HOME
org.apache.hadoop-hadoop-common 3.2.1 org.apache.hadoop-hadoop-aws 3.2.1
avwztpqn1#
hadoop需要访问底层文件系统才能创建tmp文件。因此，无论操作系统如何，本机库都是必需的。对于windows，您需要 winutils.exe 以及 hadoop.dll 文件夹。如果这些库不存在，hadoop或在hadoop之上构建的应用程序将失败。除了访问s3文件系统的依赖性之外，还需要 aws-java-sdk-bundle jar。
winutils.exe
hadoop.dll
aws-java-sdk-bundle
1条答案
按热度按时间avwztpqn1#
hadoop需要访问底层文件系统才能创建tmp文件。因此，无论操作系统如何，本机库都是必需的。
对于windows，您需要
winutils.exe以及hadoop.dll文件夹。如果这些库不存在，hadoop或在hadoop之上构建的应用程序将失败。除了访问s3文件系统的依赖性之外，还需要
aws-java-sdk-bundlejar。