将数据从sqoop导出到couchbase 5.0

wooyq4lh  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(554)

我有一个用例,需要使用sqoop从配置单元表上传couchbase中的2000万行。在couchbase文档中,我发现couchbase hadoop connector 1.2是用于couchbase 2的,而我使用的是couchbase 5.0。有人能建议现在是否有升级的连接器吗?或任何实现此功能的替代方法。

j9per5c4

j9per5c41#

根据最新文件:
couchbase hadoop连接器已达到寿命终止(eol)支持。我们建议将现有的hadoop集成迁移到couchbase-kafka连接器的受支持版本。此外,couchbase hadoop连接器与couchbase server 5.x不兼容;因为它依赖于tap feedapi,而tap feedapi在couchbaserver5.x中被删除,取而代之的是dcp feed。
如果出于某种原因不能使用kafka,那么一种可能的解决方案是将连接器与couchbase的旧版本一起使用,然后使用xdcr将该couchbase集群连接到运行couchbase server5.x的其他集群。
另一个解决方案可能是使用apachenifi(它几乎可以连接任何东西,包括couchbase)。
这些解决方案并没有得到couchbase的官方支持(除了kafka连接器),所以你只能靠自己了。

相关问题