在实现hadoop之前,我正在研究hadoop的元数据功能。hadoop元数据这个术语似乎有多种含义。我将列出我对这个学期的三个理解。但我想回答一个问题,“hadoop对其中的数据有什么元数据?”
名称节点元数据-存在什么以便名称节点知道数据块在哪里,数据块由什么文件组成。。。基本上,hadoop知道什么数据在哪里(作为一个元数据消费者,这似乎并没有那么有价值(尽管这是必要的)
文件元数据-来自文件系统shell。在那里我可以获得权限\u副本数\u userid groupid filesize修改\u日期修改\u时间filename
hcatalog-(不完全理解)存储用户通过hive和pig之类的东西生成的模式或表信息。然后,我有类似于模式的元数据,但也有局限性,比如说数据库元数据。
所以hadoop中的元数据在我看来有点支离破碎。我不在乎名称节点元数据的块在哪里。但hadoop中是否有足够的元数据来回答这样的问题:hadoop中有哪些数据?什么用什么数据?数据什么时候进入hadoop的?
总结一下我的问题:hadoop有哪些有用的元数据信息用于元数据消费?
谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!