我的团队获取实时数据(使用twitterapi)并将其放入 kafka
. 然后通过spark streaming对其进行优化以供我们使用,并将其保存在cassandra中。总之,实时数据api-> kafka
-> spark streaming
-> cassandra
到目前为止。
此数据处理(从api到 cassandra
)这不是我的工作。我在这个项目中的角色是实时地将数据流传输到客户机,当 cassandra
已更新。
我计划通过打开一致套接字将数据流传输到客户端,因为我们不需要请求-响应的东西,而只需要在第一次连接之后从服务器流传输到客户端。
起初,我用 spring boot
把它和 cassandra
. 但我发现倾听改变 cassandra
这有点困难。触发服务器操作 cassandra
我发现了很多东西 CDC
对于解决方案,但使用 CDC
似乎是低级任务。
或者我可以再加一个 kafka
在 cassandra
与 cassandra source connector
,通知我的服务器上有一些更新 cassandra
并传输更新的确切内容。那么,架构可能是
实时数据api-> kafka
-> spark streaming
-> cassandra
-> kafka
-> Spring
服务器->(套接字)->客户端。
这种方法行吗?我觉得与它的用途相比,这个架构非常复杂,但我不知道,因为我只研究了服务器,而没有研究实时数据处理。有没有更好更简单的方法用socket将经过优化的实时数据流传输到客户端?
暂无答案!
目前还没有任何答案,快来回答吧!