在实时生产系统中，通常用于Mapreduce程序的文件的大小（以及记录的数量）是多少？我们如何测试代码，比如说单元测试和qa测试？是不是记录很少？
w6mmgewl1#
根据我的经验，我们使用hadoop处理每天至少100gb的负载（以1000多个字段的约10亿条记录计算）。对于单元测试mr程序，可以使用很少的记录或mrunit。
1条答案
按热度按时间w6mmgewl1#
根据我的经验，我们使用hadoop处理每天至少100gb的负载（以1000多个字段的约10亿条记录计算）。
对于单元测试mr程序，可以使用很少的记录或mrunit。