hdfs文件路径

xzv2uavs  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(240)

我们有一个文件源,每个文件的大小从几mb到几gb不等。每个文件都有唯一的名称,可以Map到一个人。然而,个人信息来自不同的来源,但它不在文件系统中。
现在,我们需要将所有文件移动到hdfs中,并构建ui来将人员信息添加到文件中,然后根据人员信息搜索文件。
我正在考虑每天晚上使用webhdfs移动文件(这样我们就可以使用knox保护集群),并构建ui将人员信息添加到hbase,并将人员链接到相应的文件(用户可以将文件名与人员Map)。每个hbase记录都将包含人员信息和hdfs文件的路径。
我想知道上述架构是否有任何不良影响。hbase记录中有hdfs文件路径可以吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题