python apache_beam.io.kinesis.ReadDataFromKinesis()是如何工作的

amrnrhlw  于 2023-06-20  发布在  Python
关注(0)|答案(1)|浏览(84)

我尝试在管道中使用apache_beam.io.kinesis.ReadDataFromKinesis,但我一直收到以下错误消息:

org.apache.beam.sdk.util.UserCodeException: java.lang.NullPointerException: Cannot invoke "org.apache.beam.sdk.io.kinesis.ShardReadersPool.getLatestRecordTimestamp()" because "this.shardReadersPool" is null.

是什么原因导致了这个问题,我该如何解决?

pgccezyw

pgccezyw1#

此操作使用multi-lang指向Java实现(KinesisIO)。
似乎getSplitBacklogBytes需要使用shardReadersPool.getLatestRecordTimestamp()来计算剩余的工作,但是不知何故,shardReadersPool没有初始化。
你能发布完整的堆栈跟踪吗?你还有其他错误吗?你有没有看到任何日志写着:Starting reader using

相关问题