我正在使用现有Parquet文件中的boto3创建一个粘合表。
从parquetMap类型(使用spark模式中的类型名)效果不好有关于如何Map这些类型的参考吗(包括复杂类型(结构、数组等)
我尝试的是:
client.create_table(DatabaseName=db_name, TableInput={
"StorageDescriptor": {
"Columns":[
{
'Name': x.name,
'Type': x.dataType.typeName()
} for x in df.schema
}
})
其中df是一个sparkDataframe,省略了不相关的参数。
实际的表创建工作正常,但是查询表(使用athena)会返回:
HIVE_METASTORE_ERROR: com.facebook.presto.spi.PrestoException: Error: type expected at the position 0 of 'integer' but 'integer' is found. (Service: null; Status Code: 0; Error Code: null; Request ID: null)
暂无答案!
目前还没有任何答案,快来回答吧!