我想在spark批处理作业完成后运行下面的alter table命令，以便每天将blob位置中可用的所有较小文件连接到一个较大的文件。表格输出格式为orc。有没有一种方法可以使用sparksql实现这一点。任何帮助都将不胜感激。
spark.sql("ALTER TABLE TABLENAME CONCATENATE")
pbgvytdp1#
根据spark源代码， ALTER TABLE <> CONCATENATE 选项尚未实现或目前不受支持。请检查下面的代码以获取更多信息。spark sql解析器spark不支持的配置单元本机命令
ALTER TABLE <> CONCATENATE
1条答案
按热度按时间pbgvytdp1#
根据spark源代码，
ALTER TABLE <> CONCATENATE选项尚未实现或目前不受支持。请检查下面的代码以获取更多信息。spark sql解析器
spark不支持的配置单元本机命令