在一个非常高的层次上，我将提供一个多租户平台接口，允许用户创建“项目”——翻译成各种生产者类型的kafka主题——rss提要、sql服务器查询和文件位置。
例如，要检索rss数据，我认为我们需要创建kafka works，以便按计划获取rss数据—因此需要动态地添加新的多线程工作线程（或将作业添加到工作线程），而不是通过配置文件。
应用抽象层将用户从kafka和elasticsearch中分离出来。我不能允许所有用户通过控制中心访问。
在另一个可能提供某种托管服务的用例中，我可以使用cc。
考虑到这个用途，我想获得一些关于实现这个目的的适当方法的细节-因为似乎还有一些差距-即，我们不能使用配置文件，因为主题需要动态创建。
如何使用kafka和java以编程/动态方式创建数据管道和worker？