我遇到了一种情况，需要使用sqoop将数据从postgres迁移到hdfs，将该文件复制到s3并创建hive外部表。我面临的问题是，在postgres的一些字段中，我的数据有新行字符。我如何处理这个问题来迁移到hdfs？我知道它可以在hive中完成，但需要知道如何在hdfs中完成。正在寻求帮助。。。。
kqlmhetl1#
sqoop可以通过选择orc或avro文件生成而不是文本来处理包含新行的文本字段。顺便说一句，如果您想连接postgres和hdfs以从postgres导入/导出数据，我建议您看看apachespark，特别是spark postgres库，它支持文本字段中的换行。
1条答案
按热度按时间kqlmhetl1#
sqoop可以通过选择orc或avro文件生成而不是文本来处理包含新行的文本字段。
顺便说一句，如果您想连接postgres和hdfs以从postgres导入/导出数据，我建议您看看apachespark，特别是spark postgres库，它支持文本字段中的换行。