找不到密钥为dfs.encryption.key.provider.uri的uri,无法在cdh 5.4的hdfs加密中创建密钥提供程序

gudnpqoy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(758)

cdh版本:cdh5.4.5

问题:使用hadoopcdh5.4中提供的kms启用hdfs加密时,将文件放入加密区域时出错。
步骤:
hadoop加密步骤如下:
创造关键[成功]

[tester@master ~]$ hadoop key create 'TDEHDP' 
-provider kms://https@10.1.118.1/key_generator/kms -size 128
tde group has been successfully created with options 
Options{cipher='AES/CTR/NoPadding', bitLength=128, description='null', attributes=null}.
KMSClientProvider[https://10.1.118.1/key_generator/kms/v1/] has been updated.

2.创建目录[成功]

[tester@master ~]$ hdfs dfs -mkdir /user/tester/vs_key_testdir

添加加密区域[成功]

[tester@master ~]$ hdfs crypto -createZone -keyName 'TDEHDP' 
-path /user/tester/vs_key_testdir
Added encryption zone /user/tester/vs_key_testdir

正在将文件复制到加密区域[错误]

[tdetester@master ~]$ hdfs dfs -copyFromLocal test.txt /user/tester/vs_key_testdir

15/09/04 06:06:33错误hdfs.keyprovidercache:找不到具有密钥[dfs.encryption.key.provider.uri]的uri以创建密钥提供程序!!copyfromlocal:未配置keyprovider,无法访问加密文件15/09/04 06:06:33错误hdfs.dfsclient:无法关闭inode 20823 org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.hdfs.server.namenode.leaseexpiredexception):no lease on/user/tester/vs_key_testdir/test.txt.copying(inode 20823):文件不存在。持有者dfsclient\u nonmapreduce\u 1061684229\u 1没有任何打开的文件。
任何想法/建议都会有帮助。

lyfkaqu1

lyfkaqu11#

此问题在此处交叉发布:https://community.cloudera.com/t5/storage-random-access-hdfs/could-not-find-uri-with-key-dfs-encryption-key-provider-uri-to/td-p/31637
主要结论:这不是一个问题
以下是支持人员提供的答案:
cdh的基本版本就是:base。自cdh 5.4.1以来,所有cdh5版本都提供了因hdfs-7931而导致的无害日志打印修复。
如果在配置了KMS的上下文中看到错误,那么它是值得考虑的。如果不使用kms或ezs,则可能会忽略该错误。或者升级到最新的cdh5(5.4.x或5.5.x)版本,以接收一个错误修复,使错误仅在通过加密路径配置kms的上下文中出现。
根据您的日志片段,我没有看到问题(金丝雀似乎没有失败?)。如果您试图报告故障,请向我们发送更多的故障特征,因为hdfs-7931是一个不必要的日志打印小问题。

相关问题