嗨,我试图读取一个时间戳字段(datetime)从Parquet文件使用一个案件类(在typedpipe)。
Parquet文件是从 Impala 表。
parquet tools lib提供如下类型
可选int96
有人知道字段类型应该是什么吗?
如果我使用选项[long]
case class Columns(request_id:Option[String],datetime: Option[Long])
val input = TypedParquet[Columns](input1)
然后给出下面的错误
原因:org.apache.parquet.io.parquetdecodingexception:请求的架构与文件架构不兼容。不兼容类型:可选int64 datetime!=可选int96日期时间
这是有道理的。
如果我尝试使用bigint
case class Columns(request_id:Option[String],datetime: Option[Bigint])
val input = TypedParquet[Columns](input1)
它甚至不编译它给出下面的错误
parquetreadsupport-找不到参数的隐式值
暂无答案!
目前还没有任何答案,快来回答吧!