我对Kafka和一般的流媒体数据非常陌生。我试图做的是摄取数据，这是通过http发送到Kafka。我的研究把我带到了合流rest代理，但我不能让它工作。
我目前拥有的是kafka，它在docker容器中使用单个节点和单个代理与kafkamanager一起运行。
不幸的是，由于我的机器上没有足够的可用内存，我无法使用docker运行完全合流的平台。
从本质上说，我的问题是：如何建立一个kafka通过http接收数据的开发环境？
非常感谢您的帮助！
我对Kafka和一般的流媒体数据非常陌生。我试图做的是摄取数据，这是通过http发送到Kafka。我的研究把我带到了合流rest代理，但我不能让它工作。
我目前拥有的是kafka，它在docker容器中使用单个节点和单个代理与kafkamanager一起运行。
不幸的是，由于我的机器上没有足够的可用内存，我无法使用docker运行完全合流的平台。
从本质上说，我的问题是：如何建立一个kafka通过http接收数据的开发环境？
非常感谢您的帮助！
2条答案
按热度按时间jutyujz01#
要运行一个kafka代理、zookeeper和schema注册表，1gb通常就足够了（在dev中）。
如果出于某种原因不想使用合流rest代理，可以编写自己的代理。它非常简单：“根据请求，解析传入的json，验证数据，构造消息（用avro？），并将其生成给kafka”。
在本文中，您将找到一些在堆内存上按kafka和zk的配置：https://medium.com/@saabeilin/kafka-实际操作第一部分开发环境fc1b70955152
在这里，您可以阅读如何使用python生成/使用消息：https://medium.com/@saabeilin/kafka-实际操作-第二部分-生产和消费-消息-in-python-44d5416f582e
希望这些帮助！
ugmeyewa2#
您不需要“完全融合平台”（包括ksql、controlcenter）
zookeeper、kafka、rest代理，以及可选的模式注册表，都应该只占用总共4gb的ram。如果你连这个都没有，那你就得去买更多的公羊。
请注意，zookeeper和kafka不需要与schema registry或rest代理运行在同一台计算机上，因此如果您有多台计算机，那么您也可以通过这种方式节省一些资源。