什么会导致presto引发错误“partition metadata not available”?

olhwl3o2  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(268)

我使用presto+hive,使用外部表,使用hdfswebapi提供数据。
这张table有点像

CREATE TABLE `mytable` (
    `eventid` string,
    `group_id` string)
PARTITIONED BY (`dt` string, `appid` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','    
LOCATION '/user/hive/warehouse/mydb.db/mytable'

每次将数据文件推送到hdfs之前,我都使用pyhive创建分区

ALTER TABLE mydb.mytable 
    ADD IF NOT EXISTS PARTITION (dt='{dt}', appid='{appid}')

然后使用hdfswebapi将数据文件推送到该位置

/user/hive/warehouse/mydb.db/mytable/dt={dt}/appid={appid}/data.csv

它几乎在任何时候都可以正常工作,但偶尔当我通过presto启动查询时,它会抛出一个异常“partition metadata not available”
查询类似于

select * 
from mytable
where dt='{dt}'
  and appid='{appid}'
  and eventid in ('...')

整个错误消息是

DatabaseError: {'message': 'Partition metadata not available', 'errorCode': 16777216, 'errorName': 'HIVE_METASTORE_ERROR', 'errorType': 'EXTERNAL', 'failureInfo': {'type': 'com.facebook.presto.spi.PrestoException', 'message': 'Partition metadata not available', 'suppressed': [], 'stack': ['com.facebook.presto.hive.HiveSplitManager.lambda$getPartitionMetadata$1(HiveSplitManager.java:200)', 'com.google.common.collect.Iterators$8.transform(Iterators.java:799)', 'com.google.common.collect.TransformedIterator.next(TransformedIterator.java:48)', 'com.google.common.collect.TransformedIterator.next(TransformedIterator.java:48)', 'com.google.common.collect.Iterators$5.hasNext(Iterators.java:548)', 'com.facebook.presto.hive.ConcurrentLazyQueue.poll(ConcurrentLazyQueue.java:37)', 'com.facebook.presto.hive.BackgroundHiveSplitLoader.loadSplits(BackgroundHiveSplitLoader.java:219)', 'com.facebook.presto.hive.BackgroundHiveSplitLoader.access$300(BackgroundHiveSplitLoader.java:78)', 'com.facebook.presto.hive.BackgroundHiveSplitLoader$HiveSplitLoaderTask.process(BackgroundHiveSplitLoader.java:179)', 'com.facebook.presto.hive.util.ResumableTasks.safeProcessTask(ResumableTasks.java:45)', 'com.facebook.presto.hive.util.ResumableTasks.lambda$submit$1(ResumableTasks.java:33)', 'io.airlift.concurrent.BoundedExecutor.drainQueue(BoundedExecutor.java:77)', 'java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)', 'java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)', 'java.lang.Thread.run(Thread.java:745)']}}

错误不会重复,只是偶尔发生。我认为(以及测试),尝试查询一个空分区,或者一个不存在的分区,不会引起任何问题,它应该返回空的。在这个过程中我没有删除任何分区。
我在互联网上搜索,但没有找到任何关于“分区元数据不可用”错误的有用信息,所以我转向stackoverflow寻求帮助。
什么会导致这样的错误?如何避免?或者当我遇到这样的错误时,我是否应该重试该过程?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题