dbgetquery会进行限制

k4aesqcs  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(284)

全部,
我正在尝试使用rjdbc、rjava和dbi in r包从远程linux机器上maprhive/hadoop集群中的一个大hive表中提取数据。
我在连接到Hive群集时没有任何问题。我试图从中提取数据的表1的大小是500米(百万)行x 16列。
代码如下:

options(java.parameters = "-Xmx32g" )

library(RJDBC)
library(DBI)
library(rJava)

hive_dir <- "/opt/mapr/hive/hive-0.13/lib"
.jinit()
.jaddClassPath(paste(hive_dir,"hadoop-0.20.2-core.jar", sep="/"))
.jaddClassPath(c(list.files("/opt/mapr/hadoop/hadoop-0.20.2/lib",pattern="jar$",full.names=T),
                 list.files("/opt/mapr/hive/hive-0.13/lib",pattern="jar$",full.names=T),
                 list.files("/mapr/hadoop-dir/user/userid/lib",pattern="jar$",full.names=T)))
drv <- JDBC("org.apache.hive.jdbc.HiveDriver","hive-jdbc-0.13.0-mapr-1504.jar",identifier.quote="`")

hive.master <- "xx.xxx.xxx.xxx:10000"
url.dbc <-  paste0("jdbc:hive2://", hive.master)
conn = dbConnect(drv, url.dbc, "user1", "xxxxxxxx")

dbSendUpdate(conn, "set hive.resultset.use.unique.column.names=false")

df <- dbGetQuery(conn, "select *  from dbname.table1 limit 1000000 ") # basically 1 million rows

上面的工作非常完美,df data.frame正好包含了我想要的内容。但是,如果取消最后一个代码段的限制,则会出现错误:

df <- dbGetQuery(conn, "select *  from dbname.table1 ")

错误:

Error in .verify.JDBC.result(r, "Unable to retrieve JDBC result set for ",  :    Unable to retrieve JDBC result set for select *  from dbname.table1  (Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask)

我用谷歌搜索了错误的最后一部分 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 把这两个陈述放在 dbGetQuery ,但无法消除错误。

dbSendUpdate(conn, "SET hive.auto.convert.join=false")
dbSendUpdate(conn, "SET hive.auto.convert.join.noconditionaltask=false")

当我从select语句中删除限制时,有人知道为什么会出现错误吗?它甚至可以处理1.2亿行,但需要很长时间。在这一点上,所花的时间对我来说并不重要。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题