hama bsp中此作业的运行时分区失败

b1payxdu 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(347)

我在开始运行hama bsp作业时遇到了以下问题。当hama在实际运行我自己的代码之前尝试加载和分区输入数据时，就会出现这种异常。这是一个已知的问题，在一些网站上讨论，但不幸的是没有一个已知的原因（例如，见这里）。
当我只运行数据集的一部分时，我的bsp工作非常正常。但是，当我运行完整的数据集时，问题出现了：(
我能知道如何解决或避免这个问题吗？

13/11/18 01:19:30 INFO bsp.FileInputFormat: Total input paths to process : 32
13/11/18 01:19:30 INFO bsp.FileInputFormat: Total input paths to process : 32
13/11/18 01:19:30 INFO bsp.BSPJobClient: Running job: job_201311180115_0002
13/11/18 01:19:33 INFO bsp.BSPJobClient: Current supersteps number: 0
13/11/18 01:19:33 INFO bsp.BSPJobClient: Job failed.
13/11/18 01:19:33 ERROR bsp.BSPJobClient: Error partitioning the input path.
java.io.IOException: Runtime partition failed for the job.
    at org.apache.hama.bsp.BSPJobClient.partition(BSPJobClient.java:465)
    at org.apache.hama.bsp.BSPJobClient.submitJobInternal(BSPJobClient.java:333)
    at org.apache.hama.bsp.BSPJobClient.submitJob(BSPJobClient.java:293)
    at org.apache.hama.bsp.BSPJob.submit(BSPJob.java:228)
    at org.apache.hama.bsp.BSPJob.waitForCompletion(BSPJob.java:235)
    at edu.wisc.cs.db.opener.hama.ConnectedEntityBspDriver.main(ConnectedEntityBspDriver.java:183)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hama.util.RunJar.main(RunJar.java:146)

Java hadoop Exception hama bsp

来源：https://stackoverflow.com/questions/20042399/runtime-partition-failed-for-this-job-in-hama-bsp

1条答案

按热度按时间

cnjp1d6j1#

在这个问题困扰了几个小时之后，我发现一旦输入文件的数量大于允许的bsp任务的数量，那么这个错误就会发生。我认为这可能是一个错误，哈马应该在未来修复。
此问题的快速解决方法是增加变量指定的最大bsp任务数 bsp.tasks.maximum 在 hama-site.xml 文件。例如，以下使用 10 而不是默认设置 3 :

<property>
  <name>bsp.tasks.maximum</name>
  <value>10</value>
  <description>The maximum number of BSP tasks that will be run simultaneously
  by a groom server.</description>
</property>

赞(0）回复(0）举报 2021-06-04

我来回答

hama bsp中此作业的运行时分区失败

1条答案

相关问题

热门标签

最新问答