Kafka1.0因严重的关闭错误而停止日志目录失败

f1tvaqid 于 2021-06-07 发布在 Kafka

关注(0)|答案(10)|浏览(400)

我刚刚升级到Kafka1.0和zookeeper 3.4.10。一开始，一切都很好。独立的生产者和消费者如预期的那样工作。在我运行了大约10分钟的代码之后，kafka出现了以下错误：
[2017-11-07 16:48:01304]停止服务目录c中日志的信息：\kafka\kafka\u 2.12-1.0.0\kafka logs（kafka.log.logmanager）
[2017-11-07 16:48:01320]由于c:\kafka\kafka\u 2.12-1.0.0\kafka日志中的所有日志目录都已失败（kafka.log.logmanager），因此关闭代理程序失败
我重新安装和重新配置Kafka1.0再次，同样的事情发生了。如果我尝试重新启动，同样的错误也会发生。
删除日志文件有助于启动kafka，但短期运行后再次失败。
我已经运行0.10.2版本很长一段时间了，从来没有遇到过这样的情况，它在很长一段时间内非常稳定。
我试图找到一个解决方案，并遵循了文档中的说明。
这还不是一个生产环境，它是相当简单的设置，一个生产者，一个消费者从一个主题阅读。
我不确定这是否和Zookeeper有关。

**更新：**这个问题已经发布在ApacheJira董事会上，到目前为止的共识似乎是这是一个windows问题。

apache-kafka apache-zookeeper

来源：https://stackoverflow.com/questions/47168342/kafka-1-0-stops-with-fatal-shutdown-error-logs-directory-failed

10条答案

按热度按时间

rur96b6h1#

如果您试图在windows计算机中执行，请尝试在windows方式中更改参数的路径 log.dirs （就像 log.dirs=C:\some_path\some_path_kafLogs )在 server.properties 在 /config 文件夹。
默认情况下，此路径将采用unix方式（如 /unix/path/ ).
这在windows机器上对我有用。

赞(0）回复(0）举报 2021-06-07

mccptt672#

对我有效的方法是删除kafka和zookeeper日志目录，然后在kafka和zookeeper server.properties文件（可以在kafka/conf/server.properties中找到）中配置我的日志目录路径，从通常的斜杠“/”到反斜杠“\”

赞(0）回复(0）举报 2021-06-07

bq8i3lrv3#

把木头清理干净就行了 C:\Kafka\kafka_2.12-1.0.0\kafka-logs 重新启动Kafka

赞(0）回复(0）举报 2021-06-07

rt4zxlrg4#

问题是在与Kafka的日志文件并行工作时。该任务是延迟在所有kafka线程和
主题配置有助于：

Map<String, String> config = new HashMap<>();
config.put(CLEANUP_POLICY_CONFIG, CLEANUP_POLICY_COMPACT);
config.put(FILE_DELETE_DELAY_MS_CONFIG, "3600000");
config.put(DELETE_RETENTION_MS_CONFIG, "864000000");
config.put(RETENTION_MS_CONFIG, "86400000");

赞(0）回复(0）举报 2021-06-07

o3imoua45#

也遇到了这个问题，只是清除Kafka日志不起作用。你还得清理Zookeeper。
解决步骤：
一定要阻止Zookeeper。
查看server.properties文件并在以下条目下找到logs目录。

Example:
log.dirs=/tmp/kafka-logs/

删除日志目录及其内容。Kafka将重新创建目录，一旦它再次启动。
查看zookeeper.properties文件并在以下条目下找到数据目录。

Example:
dataDir=/tmp/zookeeper

删除数据目录及其内容。zookeeper将在目录重新启动后重新创建它。
启动zookeeper。

<KAFKA_HOME>bin/zookeeper-server-start.sh -daemon <KAFKA_HOME>config/zookeeper.properties

启动kakfa代理。

<KAFKA_HOME>bin/kafka-server-start.sh -daemon <KAFKA_HOME>config/server.properties

通过查看logs/kafkaserver.out日志文件，验证代理启动时没有问题。

赞(0）回复(0）举报 2021-06-07

jxct1oxe6#

只需从以下位置删除所有日志：
c:\tmp\kafka日志
重新启动zookeeper和kafka服务器。

赞(0）回复(0）举报 2021-06-07

iecba09b7#

所以这似乎是windows的问题。
https://issues.apache.org/jira/browse/kafka-6188
jira被解决了，并且有一个未合并的补丁附在它上面。
https://github.com/apache/kafka/pull/6403
所以你的选择是：
让它在windows上运行，并用补丁构建它
在unix风格的文件系统（linux或mac）中运行
也许在windows的docker上运行它值得一试

赞(0）回复(0）举报 2021-06-07

dgtucam18#

我试过所有的解决方法
清除kafka日志和zookeeper数据（创建新主题后问题再次出现）
将log.dirs路径从正斜杠“/”更改为反斜杠“\”（如 log.dirs=C:\kafka_2.12-2.1.1\data\kafka )名为的文件夹 C:\kafka_2.12-2.1.1\kafka_2.12-2.1.1datakafka 已创建，问题确实停止，问题已解决。
最后我找到了这个链接，如果你在windows上搜索kafka log.dirs，你就会得到它