我正在寻找一种方法来组合由map-reduce程序生成的小rc文件。把小的rc文件合并成大的rc文件最好是什么。
ar7v8xwq1#
您可以尝试使用getmerge命令。它将源目录和目标文件作为输入，并将源目录中的文件连接到目标文件中。例如，如果配置单元表名为search\u combined\u rc，则可以将合并的rc文件放入单个文件中。hadoop fs-getmerge/user/hive/warehouse/dev.db/search\u combined\u rc//localdata/destinationfilename由于rcfile不能用打开典型序列文件的工具打开，您可以尝试使用rcfilecat工具来显示rcfile的内容。您需要将文件从本地目录移回hdfs。配置单元—服务rcfilecat/hdfsfilelocation
1条答案
按热度按时间ar7v8xwq1#
您可以尝试使用getmerge命令。它将源目录和目标文件作为输入，并将源目录中的文件连接到目标文件中。
例如，如果配置单元表名为search\u combined\u rc，则可以将合并的rc文件放入单个文件中。
hadoop fs-getmerge/user/hive/warehouse/dev.db/search\u combined\u rc//localdata/destinationfilename
由于rcfile不能用打开典型序列文件的工具打开，您可以尝试使用rcfilecat工具来显示rcfile的内容。您需要将文件从本地目录移回hdfs。
配置单元—服务rcfilecat/hdfsfilelocation