如何在配置单元中查看不同版本的hbase数据。根据我对使用hbasestoragehandler的理解,hive中只有最新版本的hbase数据可用。我的理解正确/更新了吗?有没有办法使用配置单元访问不同版本的hbase数据??提前感谢:)(hbase hive集成的新功能)
hts6caw31#
这取决于 hive 您正在使用的。之前 hive 1.1,hbase timestamps 无法通过 hive-hbase 集成[1](相关:[2])。所以答案是,你需要 hive 1.1或更高。希望有帮助。[1] https://issues.apache.org/jira/browse/hive-2828[2] https://issues.apache.org/jira/browse/hive-8267
hive
timestamps
hive-hbase
mw3dktmi2#
不是100%回答,而是方向。在正常生活中,hbase总是关于特殊情况。这是一篇略显过时但非常简单的文章来理解这种方法:http://hortonworks.com/blog/hbase-via-hive-part-1/所以实际上你可以实现任何 InputFormat 或者 OutputFormat 你需要。但这与mapreduce齿轮有关。原则上,spark也可以依赖inputformat,所以问题只是关于您的特殊情况。另一个好主意是:http://www.slideshare.net/hbasecon/ecosystem-session-3a 因此,快照可以帮助获取您真正需要的表的状态,然后您可以自由地使用任何设备来连接hive和hbase(如果它符合标准的话)。一般来说,基本思想是调整将配置单元连接到hbase数据的齿轮,以便它们将所需的版本过滤器应用于您。这不太依赖于版本,因为这个接口非常稳定。希望这对你有帮助。
InputFormat
OutputFormat
2条答案
按热度按时间hts6caw31#
这取决于
hive
您正在使用的。之前hive
1.1,hbase
timestamps
无法通过hive-hbase
集成[1](相关:[2])。所以答案是,你需要hive
1.1或更高。希望有帮助。[1] https://issues.apache.org/jira/browse/hive-2828
[2] https://issues.apache.org/jira/browse/hive-8267
mw3dktmi2#
不是100%回答,而是方向。在正常生活中,hbase总是关于特殊情况。
这是一篇略显过时但非常简单的文章来理解这种方法:http://hortonworks.com/blog/hbase-via-hive-part-1/
所以实际上你可以实现任何
InputFormat
或者OutputFormat
你需要。但这与mapreduce齿轮有关。原则上,spark也可以依赖inputformat,所以问题只是关于您的特殊情况。
另一个好主意是:http://www.slideshare.net/hbasecon/ecosystem-session-3a 因此,快照可以帮助获取您真正需要的表的状态,然后您可以自由地使用任何设备来连接hive和hbase(如果它符合标准的话)。
一般来说,基本思想是调整将配置单元连接到hbase数据的齿轮,以便它们将所需的版本过滤器应用于您。这不太依赖于版本,因为这个接口非常稳定。
希望这对你有帮助。