我正在寻找一种解决方案，使一堆文件在多个服务器（一个“主”和多个“从”）之间不断同步。
我已经找到并成功测试了lsyncdhttps://github.com/axkibe/lsyncd 它基于ssh和rsync。
但是，我想看看是否可以找到一个吞吐量更高的解决方案。
我已经开始研究kafka（它基本上是一个消息代理），我想知道kafka是否可以配置为对这个用例有用。如果是，怎么做？您是否知道基于om kafka的现有解决方案？有没有我应该使用的特定工具/插件？
谢谢
我正在寻找一种解决方案，使一堆文件在多个服务器（一个“主”和多个“从”）之间不断同步。
我已经找到并成功测试了lsyncdhttps://github.com/axkibe/lsyncd 它基于ssh和rsync。
但是，我想看看是否可以找到一个吞吐量更高的解决方案。
我已经开始研究kafka（它基本上是一个消息代理），我想知道kafka是否可以配置为对这个用例有用。如果是，怎么做？您是否知道基于om kafka的现有解决方案？有没有我应该使用的特定工具/插件？
谢谢
1条答案
按热度按时间yqkkidmi1#
看起来kafka不支持这种开箱即用的用例。
尽管可以为此编写一个连接器，但我认为一个不同的解决方案更合适。
据我所知，目前合适的解决方案有：
使用网络文件系统，如nfs
使用lsyncd等工具通过rsync/scp同步文件
如果这些文件是json文档，请使用基于json文档（如mongodb或couchbase）的nosql数据库并设置主/从复制