我的数据看起来像是每帧1000万个数值（实数+二进制数）（比如数组，一行数组中有1000万个元素），每秒大约有100帧。有点像时间序列。我面临的挑战是：（1） 存储-数据量（2） 数据处理速度（3） 实时分析Cassandra适合这样吗？有谁能给我一点关于应用程序体系结构的指导（想想hadoop、cassandra、kafka、storm等等），它将在上面的场景中得到解决（从一个非常高的层次来看）。我知道我问了个大问题。在实验之前我需要一个方向。
tyky79it1#
作为数据的存储引擎或处理速度，cassandra和hadoop将大放异彩。现在进入实时部分，cassandra可以为您提供一个近乎实时的解决方案，其中仅使用hadoop是不够的（批处理性质，map reduce作业）。您可以尝试使用hadoop和storm，这将为您提供近乎实时的功能，但它会增加解决方案的复杂性（使用喷口和螺栓）。您也可以尝试一些规则引擎，这将为您提供一个额外的优势，对实时解决方案。
1条答案
按热度按时间tyky79it1#
作为数据的存储引擎或处理速度，cassandra和hadoop将大放异彩。
现在进入实时部分，cassandra可以为您提供一个近乎实时的解决方案，其中仅使用hadoop是不够的（批处理性质，map reduce作业）。您可以尝试使用hadoop和storm，这将为您提供近乎实时的功能，但它会增加解决方案的复杂性（使用喷口和螺栓）。您也可以尝试一些规则引擎，这将为您提供一个额外的优势，对实时解决方案。