我有一个orc格式的配置单元表,由pyspark dataframe\u writer填充。我需要将此表导出到oracle。由于sqoop无法解析orc文件格式,因此导出此表时遇到问题。在导出配置单元orc表时,是否需要使用sqoop命令指定任何特殊注意事项或参数。
ljo96ir51#
一个简单的google查询指向那个标签非常明确的博客文章。。。如何将配置单元orc表导出到oracle数据库?还有一个贴有标签的帖子。。。读取orc文件并放入rdbms?看来你没有做任何研究。顺便问一下,您是否考虑过使用spark通过jdbc将数据直接发送到oracle暂存表中,而不使用中间orc转储?
vwhgwdsa2#
我刚刚在同一个sqoop上工作,从orc到oracle。请确保您的orc表已预先创建了正确的数据类型,因为您在Dataframe中有这些数据类型。同样的列顺序也将简化sqoop。如果你试过任何命令,请贴出来。
2条答案
按热度按时间ljo96ir51#
一个简单的google查询指向那个标签非常明确的博客文章。。。
如何将配置单元orc表导出到oracle数据库?
还有一个贴有标签的帖子。。。
读取orc文件并放入rdbms?
看来你没有做任何研究。
顺便问一下,您是否考虑过使用spark通过jdbc将数据直接发送到oracle暂存表中,而不使用中间orc转储?
vwhgwdsa2#
我刚刚在同一个sqoop上工作,从orc到oracle。请确保您的orc表已预先创建了正确的数据类型,因为您在Dataframe中有这些数据类型。同样的列顺序也将简化sqoop。如果你试过任何命令,请贴出来。