我有一个设想，希望得到Maven的意见。
我必须通过spark（python）从关系数据库加载分区中的配置单元表。我无法创建配置单元表，因为我不确定源中有多少列，并且它们将来可能会更改，所以我必须使用获取数据； select * from tablename .
但是，我确信分区列不会改变。此列在源数据库中是“date”数据类型。
我正在使用 SaveAsTable 与 partitionBy 选项，我可以根据分区列正确创建文件夹。也将创建配置单元表。
我面临的问题是，由于分区列是“date”数据类型，并且分区的配置单元中不支持相同的数据类型。由于这个原因，我无法通过hive或impala查询读取数据，因为它说date不支持作为分区列。
请注意，我不能在发布本文件时打字 select 声明，因为我必须做一个 select * from tablename ，而不是 select a,b,cast(c) as varchar from table .