bigdata—使用cloudera hadoop ui自动化sqoop增量

watbbzwu 于 2021-06-01 发布在 Hadoop

关注(0)|答案(14)|浏览(347)

是否有任何方法可以使用时间戳以外的列值自动执行sqoop导入。我试图在表中使用一列（id）。但没用。下面是示例代码，我使用ClouderaHadoopUI实现自动化。问题是最后一个值没有自动更新。

import
         --connect
         jdbc:mysql://172.26.122.123:3306/books
         --username
         hadoop
         --password
       ********
         --incremental
         append
         --check-column
         id
         --last-value
         0
         --table
         authors
         --as-textfile
         --fields-terminated-by
         ","
         --null-string
         \0
         --null-non-string
         \0
         --target-dir
         /user/thilina_08838/source/test
         -m
         1

以下是mysql表的结构，以下是mysql表的结构，以下是mysql表的结构，以下是mysql表的结构

hadoop sqoop cloudera bigdata

来源：https://stackoverflow.com/questions/47364644/automate-sqoop-incremental-using-cloudera-hadoop-ui

14条答案

按热度按时间

wkftcu5l1#

---+------+-----+---------+-------+

赞(0）回复(0）举报 2021-06-01

wr98u20j2#

--+

赞(0）回复(0）举报 2021-06-01

sz81bmfz3#

-------+

赞(0）回复(0）举报 2021-06-01

l7mqbcuq4#

您可以使用保存的sqoop导入作业轻松地实现自动化。

sqoop job --create jobname --import --connect
     jdbc:mysql://172.26.122.123:3306/books
     --username
     hadoop
     --password
   ********
     --incremental
     append
     --check-column
     id
     --last-value
     0
     --table
     authors
     --as-textfile
     --fields-terminated-by
     ","
     --null-string
     \0
     --null-non-string
     \0
     --target-dir
     /user/thilina_08838/source/test
     -m
     1

您可以根据增量刷新频率和调用设置cron作业或etl工作流 sqoop --exec jobname 在那里面。
请参阅下面的更多信息。
sqoop保存的作业文档

赞(0）回复(0）举报 2021-06-01

polkgigr5#

--+

赞(0）回复(0）举报 2021-06-01

1bqhqjot6#

--------+

赞(0）回复(0）举报 2021-06-01

v7pvogib7#

---+

赞(0）回复(0）举报 2021-06-01

yyyllmsg8#