我已经从教程中创建了示例kafka streams应用程序:
public static void main(String[] args) throws Exception {
Logger log = Logger.getLogger("Name");
Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-wordprint");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.99.100:9092");
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());
final KStreamBuilder builder = new KStreamBuilder();
builder.stream("onecon_postgres").print();
final KafkaStreams streams = new KafkaStreams(builder, props);
final CountDownLatch latch = new CountDownLatch(1);
// attach shutdown handler to catch control-c
Runtime.getRuntime().addShutdownHook(new Thread("streams-shutdown-hook") {
@Override
public void run() {
streams.close();
latch.countDown();
}
});
try {
streams.start();
log.info("After Start");
latch.await();
} catch (Throwable e) {
System.exit(1);
}
System.exit(0);
}
不幸的是,这个应用程序不读取输入流。我有一个来自postgresql的jdbc源连接器,它可以很好地处理来自一个数据库的数据流(我可以在本主题中看到kafka connect ui数据)。
我遇到的问题是,即使我在bootstrap\u servers\u config中更改了ip属性ip is localhost,我也不知道为什么。
[main] INFO org.apache.kafka.streams.StreamsConfig - StreamsConfig values:
application.id = streams-linesplit
application.server =
**bootstrap.servers = [localhost:9092]**
buffered.records.per.partition = 1000
cache.max.bytes.buffering = 10485760
client.id =
commit.interval.ms = 30000
connections.max.idle.ms = 540000
default.key.serde = class org.apache.kafka.common.serialization.Serdes$StringSerde
default.timestamp.extractor = class org.apache.kafka.streams.processor.FailOnInvalidTimestamp
default.value.serde = class org.apache.kafka.common.serialization.Serdes$StringSerde
key.serde = null
metadata.max.age.ms = 300000
metric.reporters = []
metrics.num.samples = 2
metrics.recording.level = INFO
metrics.sample.window.ms = 30000
num.standby.replicas = 0
num.stream.threads = 1
partition.grouper = class org.apache.kafka.streams.processor.DefaultPartitionGrouper
poll.ms = 100
processing.guarantee = at_least_once
receive.buffer.bytes = 32768
reconnect.backoff.max.ms = 1000
reconnect.backoff.ms = 50
replication.factor = 1
request.timeout.ms = 40000
retry.backoff.ms = 100
rocksdb.config.setter = null
security.protocol = PLAINTEXT
send.buffer.bytes = 131072
state.cleanup.delay.ms = 600000
state.dir = /tmp/kafka-streams
timestamp.extractor = null
value.serde = null
windowstore.changelog.additional.retention.ms = 86400000
zookeeper.connect =
为了克服这个问题,我使用netsh转发流量,但我看不到这个应用程序使用我的流。
netsh interface portproxy add v4tov4 listenport=9092 listenaddress=127.0.0.1 connectport=9092 connectaddress=192.168.99.100
1条答案
按热度按时间k5hmc34c1#
不幸的是,这个应用程序不读取输入流。
您的kafka streams应用程序和kafka代理之间似乎存在网络问题。“Kafka流不起作用”的可能性不大。
此外,如果您不提供更多信息,您很难获得帮助:
你的Kafka经纪人使用什么Kafka版本?
您的应用程序使用什么kafka(streams)版本?
哪个操作系统?
什么是网络设置?
运行应用程序的计算机的ip地址。
您的kafka代理在哪个ip+端口监听新连接?它是
192.168.99.100:9092
?你在应用程序的日志中看到了什么?你看到了吗
ERROR
或者WARN
记录消息?我遇到的问题是,即使我在bootstrap\u servers\u config中更改了ip属性ip is localhost,我也不知道为什么。
我不明白——你为什么认为
BOOTSTRAP_SERVERS_CONFIG
至localhost:9092
会解决你原来的问题吗?我知道Kafka的经纪人真的在听192.168.99.100:9092
?为了克服这个问题,我使用netsh转发流量,但我看不到这个应用程序使用我的流。
端口转发很可能没有帮助。如果不更新kafka代理的配置,默认情况下代理将只在其“真实”的ip+端口上通信。稍微简化:代理,配置为监听
192.168.99.100:9092
,将不响应localhost:9092
请求您的kafka streams应用程序发送,即使您正在从localhost:9092 -> 192.168.99.100:9092
在运行kafka streams应用程序的计算机上。希望这有点帮助!