我们有小型hadoop和greenplum集群。
当前数据管道流为：
External table >> hadoop-hawq external readbale table >>hawq internal table.输出：1.我们正在尝试使用greenplum扩展数据管道。基本上，wan将hawq内部表或外部可读表数据直接推入greenplum。原因是我们想编辑我们的文件。另外，hawq不支持更新和删除。是否有其他方法来接近或推送数据。请引导。
2.如何使用gphdfs协议通过gpdb外部表访问hdfs数据
提前谢谢！
1条答案
按热度按时间r6hnlfcb1#
如果要将hawq内部表中的数据推送到greenplum数据库，可以：
1） 使用可写外部表将hawq内部表中的数据卸载到hdfs上的文件。下面是执行卸载的示例：http://gpdb.docs.pivotal.io/4380/admin_guide/load/topics/g-unloading-data-using-a-writable-external-table.html
2） 然后使用可读的外部表，通过gphdfs、gpfdist等协议，将hdfs文件中的数据加载到greenplum数据库中http://gpdb.docs.pivotal.io/4320/admin_guide/load.html 详情。
如果要将hawq中可读外部表中的数据推送到greenplum数据库中，可以直接使用greenplum数据库中的可读外部表，就像hawq中一样。
对于gphdfs，以下是一些有帮助的示例：http://gpdb.docs.pivotal.io/4380/admin_guide/load/topics/g-example-1-greenplum-file-server-gpfdist.html