我们将phoenix和hbase indexer用于我们的hbase群集,我们发现了一个有关phoenix二级索引的奇怪现象:
我们将数据(使用psql导入csv数据)与来自phoenix的两个全局可变索引表(c_picrecord_idx1和c_picrecord_idx2)放在一个表(c_picrecord)中,并使hbase indexer将数据复制到solr中。数据导入完成后,我们发现solr document numfound与hbase表行计数不同。当我们删除索引表、清除数据并再次放置数据时,我们发现solr document numfound与hbase表的行数相同。
最近我们发现solr document numfound与hbase表row count不同的原因:1)删除文档会出错,但实际上我们只是从phoenix用两个全局索引表导入数据(psql)!
2) solr和hbase之间行数不一致的奇怪现象只有在数据表有二级索引时才会出现。
它困扰了我们很长一段时间,似乎有一些不同的时候,使用Phoenix二级指标。
所以,我的问题是:phoenix二级索引是否专门处理wal-log?
我们的环境:
cdh5.4.2 hbase-1.0.0-cdh5.4.2 phonenix-4.6 hbase-solr-1.5-cdh5.4.2(hbase索引器)
群集:3个hbase regionserver和3个hbase indexer
[提示]
hbase索引器基于hbase复制将数据放入solr。它将捕获wal日志并将感兴趣的数据放入solr中。hbase索引器github:https://github.com/ngdata/hbase-indexer
1条答案
按热度按时间yvt65v4c1#
我们最近解决了这个问题。请参阅另一个问题:
hbase indexer solr numfound与hbase表行大小不同
关于菲尼克斯二级索引是否专门处理wal日志的问题,请参见:
http://www.slideshare.net/jesse_yates/phoenix-secondary-indexing-la-hug-sept-9th-2013
有关Phoenix次要索引的更多详细信息。