我正在使用dataflowkafka来创建bigquery模板。启动数据流作业后,它将在队列中停留一段时间,然后失败,错误如下:
java.lang.RuntimeException: org.apache.kafka.common.errors.TimeoutException: Timeout expired while fetching topic metadata
在启动作业时,我提供了以下参数:
Kafka主题名
引导服务器ip和端口(专用ip)
bigquery主题名称
sa电子邮件
区域。
网络,子网(与kafka服务器运行的网络相同)
我的Kafka主题只有康塔尼斯信息:你好
kafka安装在与dataflow worker位于同一区域和子网的gcp示例中。
1条答案
按热度按时间ep6jt1vc1#
这个问题解决了。我试图用内部ip访问kafka引导服务器。当我把它改成公共ip时,它起作用了。