dynamicfilelistrecordreader无限期等待

lc8prwob  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(399)

我正在使用googlebigqueryhadoop连接器,遇到了一个问题。dynamicfilelistrecordreader期望0-record文件出现在bucket路径中,但看起来它不是自动创建的,因此读取器进入无限循环。根据这个https://cloud.google.com/bigquery/exporting-data-from-bigquery 此0记录文件仅在使用通配符URL时创建。但是根据hadoop日志,只使用一个不带通配符的url,这种等待是不必要的
我对haddop作业的配置是

BigQueryConfiguration.configureBigQueryInput(conf, "publicdata:samples.shakespeare");
    conf.set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem");
    // tempoary path where to download data from BiqQuery tables
    conf.set(BigQueryConfiguration.TEMP_GCS_PATH_KEY, "gs://mybucket/mypath");
    conf.set(BigQueryConfiguration.PROJECT_ID_KEY, "myprojid");
    conf.set(GoogleHadoopFileSystemBase.GCS_PROJECT_ID_KEY, "myprojid");

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题