我正在做一个关于使用kafka将数据从oracledb移动到hadoop文件系统的poc（这里是新的）。我已经在oracledb上配置了我的extract，它将源表中所做的更改发布到kafka处理程序使用者，我可以看到主题中的数据。现在我想在kafka连接处理程序上执行同样的操作，并且我想在hdfs中的一个文件上使用模式和数据。我知道我可以配置kafka处理程序来读取我的提取跟踪文件。但是我应该把目标hdfs的细节放在哪里，这样kafka就可以将数据转储到hdfs中了？
我正在做一个关于使用kafka将数据从oracledb移动到hadoop文件系统的poc（这里是新的）。我已经在oracledb上配置了我的extract，它将源表中所做的更改发布到kafka处理程序使用者，我可以看到主题中的数据。现在我想在kafka连接处理程序上执行同样的操作，并且我想在hdfs中的一个文件上使用模式和数据。我知道我可以配置kafka处理程序来读取我的提取跟踪文件。但是我应该把目标hdfs的细节放在哪里，这样kafka就可以将数据转储到hdfs中了？
1条答案
按热度按时间vlurs2pr1#
使用ogg-kafka连接处理程序从oracle流到kafka。这里和这里的例子。如果你想的话，还有一个Kafka处理者。更多细节在这里。
使用kafka connect hdfs从kafka流到hdfs