通过使用yarn，我们可以运行非mapreduce应用程序。但是它是如何工作的呢？在hdfs中，所有数据都存储在块中。对于每个块，一个mapper任务将获得create来处理整个数据集。但是非mapreduce应用程序，在不使用mapreduce的情况下，如何处理不同数据节点的数据集？请给我解释一下。
hpxqektj1#
不要将map-reduce范例与其他应用程序（例如spark）混淆。Spark可以运行在Yarn下，但不使用Map器或减速器。相反，它使用执行器，这些执行器知道数据位置，就像mapreduce一样。spark驱动程序将启动数据节点上的执行器，并在这样做时尽量记住数据的位置。也不要混淆map reduce默认行为和标准行为。每个输入拆分不需要1个Map器。hdfs和map reduce是两个不同的东西。hdfs只是存储层，而map reduce处理数据。
1条答案
按热度按时间hpxqektj1#
不要将map-reduce范例与其他应用程序（例如spark）混淆。Spark可以运行在Yarn下，但不使用Map器或减速器。
相反，它使用执行器，这些执行器知道数据位置，就像mapreduce一样。
spark驱动程序将启动数据节点上的执行器，并在这样做时尽量记住数据的位置。
也不要混淆map reduce默认行为和标准行为。每个输入拆分不需要1个Map器。
hdfs和map reduce是两个不同的东西。hdfs只是存储层，而map reduce处理数据。