扩展配置单元:编写一个同时执行Map和缩减操作的udf

fdx2calv  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(360)

我正在进行一个项目,以扩展配置单元,以支持一些图像处理功能。
要做到这一点,我们需要在一个 image ,将其分解为多个文件,将每个文件传递到一个单独的Map任务中,该任务对其进行一些处理,然后将它们还原为一个图像返回给用户。
为此,我们计划实施 UDF 那就叫做 MapReduce hadoop中的任务。然而,从我们所了解的 UDF 只会起作用 either on the Map side OR the Reduce side of the HQL query ,而我们需要它 bridge the gap “在Map和缩小面之间。
这个 Hive documentation 不是最有用的,我正在寻找一些关于从哪里开始寻找更多信息的指针。如果我对这个问题还不够清楚,请随时提问。

pcww981p

pcww981p1#

使用udaf(用户定义的门函数)。它有一种Map和归约相位。

wtlkbnrh

wtlkbnrh2#

研究hipi(hadoop图像处理接口)可能会给你一个开始。特别是,计算一组图像的主成分的例子可能很有趣。

相关问题