我有一个接收点击流的用例，我需要使用来自cassandra的数据进行某些计算，最后将计算出的值推到redshift。对于流媒体和计算的这个用例，我正在探索所需的技术堆栈。有没有可能使用Kafka？如果有人用过这个，你可以说明可能的利弊或任何其他建议。
9rygscc11#
在kafka流的情况下，您需要“手动”从cassandra提取数据——使用just normal从代码内部执行查询 session.execute ，或使用对象Map器。作为替代方案，您可以查看apachespark，它允许使用kafka的流数据和cassandra中的数据（通过spark-cassandra连接器）。当您需要使用数据库中的数据丰富流数据时，在cassandra中查找数据是一项非常常见的任务—您可以使用cassandra中的数据进行连接，然后根据提取的数据实现计算。如果你想有具体的例子，请看我关于cassandra中数据高效连接的博客文章。如果您希望使用spark，请使用spark结构化流媒体，因为它大大简化了此类应用程序的开发。
session.execute
1条答案
按热度按时间9rygscc11#
在kafka流的情况下，您需要“手动”从cassandra提取数据——使用just normal从代码内部执行查询
session.execute，或使用对象Map器。作为替代方案，您可以查看apachespark，它允许使用kafka的流数据和cassandra中的数据（通过spark-cassandra连接器）。当您需要使用数据库中的数据丰富流数据时，在cassandra中查找数据是一项非常常见的任务—您可以使用cassandra中的数据进行连接，然后根据提取的数据实现计算。如果你想有具体的例子，请看我关于cassandra中数据高效连接的博客文章。
如果您希望使用spark，请使用spark结构化流媒体，因为它大大简化了此类应用程序的开发。