我是 Docker 的新手。对尼菲和Kafka来说也是新的。。。
问：如何使用docker堆栈管理avro？我是否为我在我的系统中构建的每个映像安装avro docker-compose.yml 文件？我应该有一个单独的容器吗？
细节：
我的设想是一个5机器群，通过nifi到kafka（使用avro）运行etl进程，然后将消息发送到3个带有唯一数据库的postgresql容器。另一个容器将运行一个web服务器来提供对dbs的访问。
三个容器加上三个postgresql容器示例。
其他服务/微服务可以存在于现有的容器中，或者最终衍生到一个单独的容器中（例如：api）。
1条答案
按热度按时间2wnc66cl1#
apachenifi包括读写avro数据所需的所有库。
您可能还需要考虑使用合流模式注册中心的容器来集中管理avro数据。
nifi与注册表集成。Kafka不在乎你把avro发送给它，只有客户关心数据是如何编码或解码的
如果您只关心kafka、avro和postgres，请尝试使用kafka connect的jdbc连接器，那么管理nifi是没有必要的
如果您确实希望nifi和kafka在各自的集群设置中，那么它们都依赖于zookeeper示例