我们正在尝试用web服务从hdfs、hive、hbase和apacheignite获取数据，并用talend进行相关转换，然后将数据加载到下游系统。我正在寻求帮助，如果我们可以使用特定的软件，可以与hadoop集群集成，以帮助我们实现这一点
70gysomp1#
要访问hdfs或hive上的数据，您需要使用webhcatalog：webhcat是hcatalog的restapi，是hadoop的表和存储管理层hcatlog是：hcatalog的表抽象为用户提供了hadoop分布式文件系统（hdfs）中数据的关系视图，并确保用户不必担心数据存储在何处或以何种格式存储可以通过hbase rest api访问hbase上的数据，请参见此处，或者可以通过配置单元中的hbaseintegration功能在hbase上创建配置单元表，然后通过webhcatalog访问它们。
1条答案
按热度按时间70gysomp1#
要访问hdfs或hive上的数据，您需要使用webhcatalog：
webhcat是hcatalog的restapi，是hadoop的表和存储管理层
hcatlog是：
hcatalog的表抽象为用户提供了hadoop分布式文件系统（hdfs）中数据的关系视图，并确保用户不必担心数据存储在何处或以何种格式存储
可以通过hbase rest api访问hbase上的数据，请参见此处，或者可以通过配置单元中的hbaseintegration功能在hbase上创建配置单元表，然后通过webhcatalog访问它们。