如何在hadoopmapreduce中处理两个文件？

oprakyz7 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(335)

我必须使用mapreduce在hadoop环境中处理两个相关的文件。第一个文件是一个巨大的日志文件，它记录了用户的活动。第二个文件是相对较小的文件，包含用户的详细信息。两者都是.txt文件。第一个文件（日志文件）的格式为：

UserId | loginTime | LogoutTime | roomNum | MachineID

这个文件很大（几tb）。
第二个文件（用户文件小文件约20mb）是：

UserId | UserFname | UserLname | DOB | Address

我必须找出用户使用实验室机器的频率，最频繁的用户，并列出他们的名字。
我知道如何处理一个文件，如果一切都在那里。由于用户详细信息在另一个文件夹中，因此我很难处理它。我是mapreduce的新手，我在这里寻求您的帮助和建议。对我来说，这个问题类似于用外键连接rdbms中的两个表。

Java hadoop mapreduce cloud

来源：https://stackoverflow.com/questions/29637563/how-to-process-two-files-in-hadoop-mapreduce

1条答案

按热度按时间

wydwbb8l1#

您可以使用分布式缓存来保存小文件。分布式缓存存储在内存中，并分布在运行map reduce任务的所有集群中。
按以下方式将文件添加到分布式缓存。

Configuration conf = new Configuration();
DistributedCache.addCacheFile(new URI("/user/xxxx/cacheFile/exmple.txt"), conf);
Job job = new Job(conf, "wordcount");

并从Map器的设置方法中获取此文件，然后在Map或reduce方法中使用此数据。

public void setup(Context context) throws IOException, InterruptedException{
    Configuration conf = context.getConfiguration();
    Path[] localFiles = DistributedCache.getLocalCacheFiles(conf);
    //etc
}

或者，您可以使用不同的Map器来处理

赞(0）回复(0）举报 2021-05-30

我来回答

如何在hadoopmapreduce中处理两个文件？

1条答案

相关问题

热门标签

最新问答