我如何听Cassandra和流实时,使用websocket?

ycl3bljg  于 2021-06-05  发布在  Kafka
关注(0)|答案(0)|浏览(287)

我的团队获取实时数据(使用twitterapi)并将其放入 kafka . 然后通过spark streaming对其进行优化以供我们使用,并将其保存在cassandra中。总之,实时数据api-> kafka -> spark streaming -> cassandra 到目前为止。
此数据处理(从api到 cassandra )这不是我的工作。我在这个项目中的角色是实时地将数据流传输到客户机,当 cassandra 已更新。
我计划通过打开一致套接字将数据流传输到客户端,因为我们不需要请求-响应的东西,而只需要在第一次连接之后从服务器流传输到客户端。
起初,我用 spring boot 把它和 cassandra . 但我发现倾听改变 cassandra 这有点困难。触发服务器操作 cassandra 我发现了很多东西 CDC 对于解决方案,但使用 CDC 似乎是低级任务。
或者我可以再加一个 kafkacassandracassandra source connector ,通知我的服务器上有一些更新 cassandra 并传输更新的确切内容。那么,架构可能是
实时数据api-> kafka -> spark streaming -> cassandra -> kafka -> Spring 服务器->(套接字)->客户端。
这种方法行吗?我觉得与它的用途相比,这个架构非常复杂,但我不知道,因为我只研究了服务器,而没有研究实时数据处理。有没有更好更简单的方法用socket将经过优化的实时数据流传输到客户端?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题