带分区的sqoop配置单元导入

1cosmwyk 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(496)

我有一些sqoop工作导入到我想要分区的配置单元中，但是我无法让它正常工作。导入实际上会起作用：表是sqooped的，它在hive中可见，有数据，但我希望看到的分区参数在描述表时不会出现。我已经将这个表作为csv进行了sqoop，创建了一个外部Parquet表，并将数据插入其中（这是可行的），但是如果可能的话，我希望能够避免额外的步骤。这是我现在的密码。我是错过了什么还是我想做不可能的事？谢谢！

sqoop import -Doraoop.import.hint=" " \
--options-file /home/[user]/pass.txt \
--verbose \
--connect jdbc:oracle:thin:@ldap://oid:389/cn=OracleContext,dc=[employer],dc=com/SQSOP051 \
--username [user]\
--num-mappers 10 \
--hive-import \
--query "select DISC_PROF_SK_ID, CLM_RT_DISC_IND, EASY_PAY_PLN_DISC_IND, TO_CHAR(L40_ATOMIC_TS,'YYYY') as YEAR, TO_CHAR(L40_ATOMIC_TS,'MM') as MONTH from ${DataSource[index]}.$TableName where \$CONDITIONS" \
--hive-database [dru_user] \
--hcatalog-partition-keys YEAR \
--hcatalog-partition-values '2015' \
--target-dir hdfs://nameservice1/data/res/warehouse/finance/[dru_user]/Claims_Data/$TableName \
--hive-table $TableName'testing' \
--split-by ${SplitBy[index]} \
--delete-target-dir \
--direct \
--null-string '\\N' \
--null-non-string '\\N' \
--as-parquetfile \

hadoop Hive sqoop parquet Partition

来源：https://stackoverflow.com/questions/42399406/sqoop-hive-import-with-partitions

1条答案

按热度按时间

olhwl3o21#

你可以替换 options-file 由 --password-file . 但是，这并不能解决分区问题。对于分区问题，可以尝试创建分区表 $TableName 在导入之前先分区。

sqoop import -Doraoop.import.hint=" "               \
  --password-file /home/[user]/pass.txt             \
  --verbose                                         \
  --connect jdbc:oracle:thin:@ldap://oid:389/cn=OracleContext,dc=[employer],dc=com/SQSOP051                              \
  --username [user]                                 \
  --num-mappers 10                                  \
  --hive-import                                     \
  --query "SELECT disc_prof_sk_id, 
       clm_rt_disc_ind, 
       easy_pay_pln_disc_ind, 
       To_char(l40_atomic_ts,'YYYY') AS year, 
       To_char(l40_atomic_ts,'MM')   AS month 
    FROM   ${DataSource[index]}.$tablename 
    WHERE  \$conditions"                            \
  --hcatalog-database [dru_user]                    \
  --hcatalog-partition-key     YEAR                 \
  --hcatalog-partition-values '2015'                \
  --target-dir hdfs://nameservice1/data/res/warehouse/finance/[dru_user]/Claims_Data/$TableName                                                   \
  --hcatalog-table $TableName                       \
  --split-by ${SplitBy[index]}                      \
  --delete-target-dir                               \
  --direct                                          \
  --null-string '\\N'                               \
  --null-non-string '\\N'                           \
  --as-parquetfile

赞(0）回复(0）举报 2021-06-02

我来回答

带分区的sqoop配置单元导入

1条答案

相关问题

热门标签

最新问答