我正在尝试使用kafka连接到cloudera环境,并从一个主题流式传输数据。我已经能够在java中成功地做到这一点,但不是python。python似乎已连接,但无法接收日志。我不相信我的路径或服务器是不正确的,因为我已经通过java连接了相同的信息。
我以前在另一个cloudera环境中用python成功地实现了这一点,我基本上是从代码中复制和粘贴的。既然如此,有没有可能cloudera中的某些设置阻止我通过python接收日志?。
with java:
from java.lang import System
System.setProperty('java.security.auth.login.config','<path to jaas.conf>')
System.setProperty('java.security.krb5.conf','<path to krb5.conf>')
broker=['<broker1>:9092','<broker2>:9092','<broker3>:9092']
try:
consumer=KafkaConsumer(bootstrap_servers=broker,
sasl_kerberos_service_name='kafka',
auto_offset_reset='earliest',api_version=(1,0,1),
session_timeout_ms= 30000,enable_auto_commit=True,
sasl_mechanism='GSSAPI',
security_protocol='SASL_PLAINTEXT')
except Exception as e:
message_consumer="Error connecting to kafka"+e.message
sendAlertEmail(message_consumer)
logger1.error("Failed to connect to brokers"+e.message)
为了测试我的程序,
for message in consumer:
print(message)
当我尝试访问环境时,它从未进入循环。但是,我知道这个主题有日志。
暂无答案!
目前还没有任何答案,快来回答吧!