我已经成功地将db2表复制到hadoop iidr cdc中。但是，这些文件是csv格式的，hadoop客户要求标准分隔符是\x1c，并且他们通常接受的文件是.dsv或.dat格式的，尽管也包含.txt。我试图创建平面文件，但它没有要求kerberos设置和复制失败（身份验证失败）。我收到此错误消息datastage目标中发生异常。打开平面文件时出错。错误：/tst/dl/card/hadooptable.@2020173.t210420110（没有这样的文件或目录）
请让我知道如何设置dsv，dat或.txt格式的配置？
1条答案
按热度按时间bihw5rsg1#
我相信op是通过webhdfs api使用ibm data replication cdc直接针对hadoop，具体如下：https://www.ibm.com/support/knowledgecenter/sstrgz_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/map_to_hadoop.html
在本例中，cdc使用标准逗号字段分隔符将通过webhdfs上传的文件格式化为csv。
要修改格式，通常可以将格式化程序用户出口实现为平面文件目标。https://www.ibm.com/support/pages/infosphere-change-data-capture-how-can-you-change-field-delimiter-flat-file-datastage
我不知道是否HadoopWebHDFsTargetforCDC支持这个用户出口格式化程序。。。