由于tmp文件夹的限制,snappy压缩无法工作

llew8vvj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(388)

每当我试图用pig、sqoop或spark以压缩格式存储数据时,就会遇到问题。我知道问题出在将tmp文件夹挂载到nonexec上,这导致例如snappy给我这个错误:
java.lang.illegalargumentexception:java.lang.unsatifiedlinkerror:/tmp/snappy-1.1.2-fe4e30d0-e4a5-4b1a-ae31-fd1861117288-libsnappyjava.so:/tmp/snappy-1.1.2-fe4e30d0-e4a5-4b1a-ae31-fd1861117288-libsnappyjava.so:未能从共享对象Map段:不允许操作
我在互联网上找到的解决方案是,要么将tmp文件夹装载到exec,这对我来说不是一个选项,因为出于安全考虑,sysadmin不允许这样做。另一个选项是将java opts执行路径改为其他路径,而不是tmp。
我试过下面的方法,但没有解决问题。将这些行添加到hadoop-env.sh和sqoop env
export hadoop\u opts=“$hadoop\u opts-dorg.xerial.snapy.tempdir=/newpath”export hadoop\u opts=“$hadoop\u opts-djava.io.tmpdir=/newpath”
如果你们还有其他解决办法的话我会很感激的。
谢谢

wdebmtf2

wdebmtf21#

对于有此问题的其他用户,请尝试使用启动配置单元 hive --hiveconf org.xerial.snappy.tempdir=/../ 提供一个可以执行

相关问题