我刚从nifi 1.4开始。
我正试图通过Kafka将管道分隔的消息发送到Hive中。所以我用的是Kafkarecord\u0\u10和puthivstreaming处理器。使用Kafka阅读器将成功数据发送到puthivestreaming。
使用kafka读卡器以avro格式写入数据，但puthivestreaming给出的错误是
传入流文件不能作为avro文件读取。e:java.io.ioexception:不是数据文件。“
我刚从nifi 1.4开始。
我正试图通过Kafka将管道分隔的消息发送到Hive中。所以我用的是Kafkarecord\u0\u10和puthivstreaming处理器。使用Kafka阅读器将成功数据发送到puthivestreaming。
使用kafka读卡器以avro格式写入数据，但puthivestreaming给出的错误是
传入流文件不能作为avro文件读取。e:java.io.ioexception:不是数据文件。“
1条答案
按热度按时间vsmadaxz1#
puthivestreaming只能读取avro数据文件，因此您必须确保consumekafkarecord使用的writer是一个模式写入策略设置为embedded schema的avrorecordsetwriter。
如果架构没有嵌入，那么当它到达配置单元处理器时，它将不是有效的avro数据文件。