我正在进行一个项目,以扩展配置单元,以支持一些图像处理功能。
要做到这一点,我们需要在一个 image
,将其分解为多个文件,将每个文件传递到一个单独的Map任务中,该任务对其进行一些处理,然后将它们还原为一个图像返回给用户。
为此,我们计划实施 UDF
那就叫做 MapReduce
hadoop中的任务。然而,从我们所了解的 UDF
只会起作用 either on the Map side OR the Reduce side of the HQL query
,而我们需要它 bridge the gap
“在Map和缩小面之间。
这个 Hive documentation
不是最有用的,我正在寻找一些关于从哪里开始寻找更多信息的指针。如果我对这个问题还不够清楚,请随时提问。
2条答案
按热度按时间pcww981p1#
使用udaf(用户定义的门函数)。它有一种Map和归约相位。
wtlkbnrh2#
研究hipi(hadoop图像处理接口)可能会给你一个开始。特别是,计算一组图像的主成分的例子可能很有趣。