使用pig和cassandra cqlstorage的输出查询示例

qgzx9mmu  于 2021-06-24  发布在  Pig
关注(0)|答案(3)|浏览(363)

我正在尝试使用以下方法将数据写入cassandra cql 3表:
将g存储到'cql://keyapse/col_family?output_query=not 确定这里是什么“使用cqlstorage();
输出查询是什么样子的:
更新col\u family set col1=$0,col2=$3,其中key=$2

esyap4oy

esyap4oy1#

我写了一篇关于如何使用pig作为cassandra使用cql3的数据加载器的简介。
http://www.schappet.com/pig_cassandra_bulk_load
基本设置包括@kernald的信息

STORE data_to_insert INTO
  'cql://myschema/example?output_query=update example set value1 @ #,value2 @ #' USING CqlStorage();
5m1hhzi4

5m1hhzi42#

这个博客有一些细节,但没有具体的例子:http://www.datastax.com/dev/blog/cql3-table-support-in-hadoop-pig-and-hive

9rbhqvlz

9rbhqvlz3#

您需要同时注意两个方面:存储url和数据准备。这是一个应该奏效的例子。
假设需要在以下结构中插入数据:

CREATE TABLE example (
  row_id text PRIMARY KEY,

  value1 text,

  value2 int
);

您需要像这样准备数据:

data_to_insert = FOREACH some_set_of_data GENERATE 

    TOTUPLE(TOTUPLE('row_id',row_id)), TOTUPLE(value1, value2) ;

最后,存储语句将是:

STORE data_to_insert INTO 'cql://my/example?output_query=update example set value1 @ # , value2 @ #' USING CqlStorage();

相关问题