我有一个很大的hbase sql语句列表，需要针对hbase数据库的现有示例运行这些语句。sql语句是纯文本的，数据库运行在本机文件系统（而不是hdfs）上。因此，我没有运行hadoop示例。我目前正在hbase shell上运行这些sql语句，但是这个过程非常慢。我知道如果hadoop正在运行，我可以分配Map器来执行并行插入，但是有没有一种更快的方法来执行批量加载而不使用hadoop示例？
ilmyapht1#
由于hadoop（更具体地说是mr）是为更快地处理海量数据（大数据）而设计的，因此它适合您的需求。在hdfs上创建storefiles，然后使用completebulkload方法将数据从storefile加载到表中。不使用hadoop示例的具体原因是什么？
nnt7mjpx2#
hbase提供用于批量上载的importtsv api下面是importtsv api的一个示例http://souravgulati.webs.com/apps/forums/topics/show/8617965-hbase-bulk-upload-using-importtsv-in-hbase-table在这里，我尝试从hdfs上传数据。您可以尝试使用importtsv从本地文件系统上载数据。如果不起作用，那么在hdfs上运行hbase
2条答案
按热度按时间ilmyapht1#
由于hadoop（更具体地说是mr）是为更快地处理海量数据（大数据）而设计的，因此它适合您的需求。
在hdfs上创建storefiles，然后使用completebulkload方法将数据从storefile加载到表中。
不使用hadoop示例的具体原因是什么？
nnt7mjpx2#
hbase提供用于批量上载的importtsv api
下面是importtsv api的一个示例
http://souravgulati.webs.com/apps/forums/topics/show/8617965-hbase-bulk-upload-using-importtsv-in-hbase-table
在这里，我尝试从hdfs上传数据。您可以尝试使用importtsv从本地文件系统上载数据。如果不起作用，那么在hdfs上运行hbase