我正在尝试用hadoop将数据从sql数据库迁移到hbase。但问题是我的数据库在sql中是70gb的，当我把它转移到hadoop时大约需要400gb。为什么会这样？。有没有办法减少这个空间的使用。如果我有一个800 gb的sql数据库数据，还需要多少磁盘空间。
des4xlb01#
在进行了大量的测试之后，我遇到了一些结果，我将数据存储在hadoop的默认格式中，即文本格式。因此，与其他存储器相比，它将消耗大量的存储空间。此外，manjunath是正确的，因为我们减少了复制因子，它可能会减少存储空间，但也会导致一些问题。有关此主题的更多信息，请参阅以下链接：http://datametica.com/rcorc-file-format/
1条答案
按热度按时间des4xlb01#
在进行了大量的测试之后，我遇到了一些结果，我将数据存储在hadoop的默认格式中，即文本格式。因此，与其他存储器相比，它将消耗大量的存储空间。此外，manjunath是正确的，因为我们减少了复制因子，它可能会减少存储空间，但也会导致一些问题。有关此主题的更多信息，请参阅以下链接：
http://datametica.com/rcorc-file-format/