使用pig从cassandra加载所需数据

wi3ka0sx  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(213)

我对Pig/Cassandra装有疑问。
我使用pig从cassandra使用cqlstorage加载数据。这样地

data = LOAD 'cq://ks/cf' using CqlStorage();

我只想通过过滤加载很少的数据,我想过滤的列是分区键,这里面有bughttps://issues.apache.org/jira/browse/cassandra-6151)所以我不能这么做。
所以打算用Pig过滤, b = filter data by col1 == 'something'; 我的疑问是,pig是否加载了来自cassandra的所有数据,然后进行过滤?或者它会将过滤条件发送到cqlstorage以只从cassandra加载所需的数据。?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题