我想通过给定的用户界面使用hadoop中用户选择的文件。应该采用什么方法，在web中使用hadoop是明智的决定吗
nafvub8i1#
有两个问题-是否应该使用hadoop，以及如何使用hadoop。用户通过web界面上传的典型文件比hadoop开始相关的数据要小得多。所以很可能hadoop不是这个场景的正确选择如果没有更详细的日志，很难知道问题出在哪里。但最常见的情况是，如果找不到的类是您的类（而不是基础结构类），则需要将jar分发给所有hadoop任务。一个简单的解决方案是在运行应用程序时使用-libjars参数在这里看到一个很好的解释
1条答案
按热度按时间nafvub8i1#
有两个问题-是否应该使用hadoop，以及如何使用hadoop。
用户通过web界面上传的典型文件比hadoop开始相关的数据要小得多。
所以很可能hadoop不是这个场景的正确选择
如果没有更详细的日志，很难知道问题出在哪里。但最常见的情况是，如果找不到的类是您的类（而不是基础结构类），则需要将jar分发给所有hadoop任务。
一个简单的解决方案是在运行应用程序时使用-libjars参数
在这里看到一个很好的解释