如何使用命令行选项控制hadoop任务重试策略？

myzjeezk 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(315)

我想使用命令行选项控制hadoop作业重试策略。例如，我想编写以下sqoop作业并使其对mysql中断具有容错性：

sqoop
  GENERIC_SQOOP_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

对于一般的hadoop作业，它可能看起来像：

hadoop job -submit
  GENERIC_JOB_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

1条答案

是的，在sqoop中支持hadoop“-d”参数。然而，他们在命令行的位置是至关重要的。它们必须直接出现在“sqoop”之后和任何其他sqoop参数之前：

sqoop -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 import --connect ...

请注意，不同的定位将无法按预期工作。