我们想从mr job的mapper和reducer中读/写cassandra。如何减少与cassandra的连接数。先谢谢你弗拉迪
6yt4nkrj1#
限制工作中Map器和还原器的数量以控制连接的数量。每个map和reduce都使用自己的jvm，从而使用自己的连接。如果您看到的问题是超时，请尝试减少批处理大小( cassandra.range.batch.size )看到了吗http://wiki.apache.org/cassandra/hadoopsupport
cassandra.range.batch.size
1条答案
按热度按时间6yt4nkrj1#
限制工作中Map器和还原器的数量以控制连接的数量。每个map和reduce都使用自己的jvm，从而使用自己的连接。
如果您看到的问题是超时，请尝试减少批处理大小(
cassandra.range.batch.size)看到了吗http://wiki.apache.org/cassandra/hadoopsupport