我正在尝试搭建一个大数据平台，在hadoop中接收和存储大量的异构数据（文档、视频、图像、传感器数据等），然后实现分类过程。那么，在我目前使用vmware vsphere exsi hadoop时，什么体系结构可以帮助我呢habse-thrift-xampp所有这些都运行良好，但我不知道如何接收大量数据以及如何存储数据，因为我发现hbase是一个面向列的数据库，而不是数据仓库。
bwitn5fc1#
您必须为大数据类型（结构化、半结构化和非结构化）定制解决方案如果总数据大小小于等于10 tb，则可以对结构化数据使用配置单元/hbase您可以使用sqoop从传统的rdbms数据库oracle、sqlserver等导入结构化数据。您可以使用flume来处理非结构化数据。您可以使用内容管理系统来处理非结构化数据和半结构化数据—万亿或万亿字节的数据。如果您存储的是非结构化数据，我更喜欢将数据存储在cms中，并使用nosql数据库（如hbase）中的元数据信息要处理大数据流，可以使用pig。看看hadoop中的结构化数据和非结构化数据处理
1条答案
按热度按时间bwitn5fc1#
您必须为大数据类型（结构化、半结构化和非结构化）定制解决方案
如果总数据大小小于等于10 tb，则可以对结构化数据使用配置单元/hbase
您可以使用sqoop从传统的rdbms数据库oracle、sqlserver等导入结构化数据。
您可以使用flume来处理非结构化数据。
您可以使用内容管理系统来处理非结构化数据和半结构化数据—万亿或万亿字节的数据。如果您存储的是非结构化数据，我更喜欢将数据存储在cms中，并使用nosql数据库（如hbase）中的元数据信息
要处理大数据流，可以使用pig。
看看hadoop中的结构化数据和非结构化数据处理