如何在cassandra中存储流数据

zf9nrax1  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(384)

我是新来Cassandra的,我很困惑。我知道Cassandra的写速度很快。我想存储来自storm的twitter数据。我在谷歌上搜索,每次我得到make sstable并加载到集群中。如果每次我都要做sstable,那么怎么可能在cassandra中存储twitter数据流。
请帮帮我。
如何存储以每秒1000log的速度生成的日志数据。
如果我错了,请纠正我

huus2vyu

huus2vyu1#

我认为cassandra单节点可以每秒处理1000个日志,而无需批量加载,如果您的模式良好的话。还取决于每个日志的大小。
或者你可以用Cassandra的 Copy From CSV 命令。
为此,您需要先创建一个表。
以下是datastax网站的一个示例:

CREATE TABLE airplanes (
  name text PRIMARY KEY,
  manufacturer text,
  year int,
  mach float
);

COPY airplanes (name, manufacturer, year, mach) FROM 'temp.csv';

您需要根据列在csv中的存储顺序指定列的名称。对于带有逗号(,)的值,可以用双引号(“)括起来,也可以使用其他分隔符。
有关更多详细信息,请参阅http://www.datastax.com/documentation/cql/3.0/cql/cql_reference/copy_r.html

相关问题