kafka流不读取输入主题

m4pnthwp  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(311)

我已经从教程中创建了示例kafka streams应用程序:

public static void main(String[] args) throws Exception {
    Logger log = Logger.getLogger("Name");

    Properties props = new Properties();
    props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-wordprint");
    props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.99.100:9092");
    props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
    props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

    final KStreamBuilder builder = new KStreamBuilder();
    builder.stream("onecon_postgres").print();

    final KafkaStreams streams = new KafkaStreams(builder, props);
    final CountDownLatch latch = new CountDownLatch(1);

    // attach shutdown handler to catch control-c
    Runtime.getRuntime().addShutdownHook(new Thread("streams-shutdown-hook") {
        @Override
        public void run() {
            streams.close();
            latch.countDown();
        }
    });

    try {
        streams.start();
        log.info("After Start");
        latch.await();
    } catch (Throwable e) {
        System.exit(1);
    }
    System.exit(0);
    }

不幸的是,这个应用程序不读取输入流。我有一个来自postgresql的jdbc源连接器,它可以很好地处理来自一个数据库的数据流(我可以在本主题中看到kafka connect ui数据)。
我遇到的问题是,即使我在bootstrap\u servers\u config中更改了ip属性ip is localhost,我也不知道为什么。

[main] INFO org.apache.kafka.streams.StreamsConfig - StreamsConfig values: 
    application.id = streams-linesplit
    application.server = 
  **bootstrap.servers = [localhost:9092]**
    buffered.records.per.partition = 1000
    cache.max.bytes.buffering = 10485760
    client.id = 
    commit.interval.ms = 30000
    connections.max.idle.ms = 540000
    default.key.serde = class org.apache.kafka.common.serialization.Serdes$StringSerde
    default.timestamp.extractor = class org.apache.kafka.streams.processor.FailOnInvalidTimestamp
    default.value.serde = class org.apache.kafka.common.serialization.Serdes$StringSerde
    key.serde = null
    metadata.max.age.ms = 300000
    metric.reporters = []
    metrics.num.samples = 2
    metrics.recording.level = INFO
    metrics.sample.window.ms = 30000
    num.standby.replicas = 0
    num.stream.threads = 1
    partition.grouper = class org.apache.kafka.streams.processor.DefaultPartitionGrouper
    poll.ms = 100
    processing.guarantee = at_least_once
    receive.buffer.bytes = 32768
    reconnect.backoff.max.ms = 1000
    reconnect.backoff.ms = 50
    replication.factor = 1
    request.timeout.ms = 40000
    retry.backoff.ms = 100
    rocksdb.config.setter = null
    security.protocol = PLAINTEXT
    send.buffer.bytes = 131072
    state.cleanup.delay.ms = 600000
    state.dir = /tmp/kafka-streams
    timestamp.extractor = null
    value.serde = null
    windowstore.changelog.additional.retention.ms = 86400000
    zookeeper.connect =

为了克服这个问题,我使用netsh转发流量,但我看不到这个应用程序使用我的流。

netsh interface portproxy add v4tov4 listenport=9092 listenaddress=127.0.0.1 connectport=9092 connectaddress=192.168.99.100
k5hmc34c

k5hmc34c1#

不幸的是,这个应用程序不读取输入流。
您的kafka streams应用程序和kafka代理之间似乎存在网络问题。“Kafka流不起作用”的可能性不大。
此外,如果您不提供更多信息,您很难获得帮助:
你的Kafka经纪人使用什么Kafka版本?
您的应用程序使用什么kafka(streams)版本?
哪个操作系统?
什么是网络设置?
运行应用程序的计算机的ip地址。
您的kafka代理在哪个ip+端口监听新连接?它是 192.168.99.100:9092 ?
你在应用程序的日志中看到了什么?你看到了吗 ERROR 或者 WARN 记录消息?
我遇到的问题是,即使我在bootstrap\u servers\u config中更改了ip属性ip is localhost,我也不知道为什么。
我不明白——你为什么认为 BOOTSTRAP_SERVERS_CONFIGlocalhost:9092 会解决你原来的问题吗?我知道Kafka的经纪人真的在听 192.168.99.100:9092 ?
为了克服这个问题,我使用netsh转发流量,但我看不到这个应用程序使用我的流。
端口转发很可能没有帮助。如果不更新kafka代理的配置,默认情况下代理将只在其“真实”的ip+端口上通信。稍微简化:代理,配置为监听 192.168.99.100:9092 ,将不响应 localhost:9092 请求您的kafka streams应用程序发送,即使您正在从 localhost:9092 -> 192.168.99.100:9092 在运行kafka streams应用程序的计算机上。
希望这有点帮助!

相关问题