我跟随这篇博客文章使用hive和emr按日期划分s3访问日志。我可以在一小桶访问日志上运行此脚本，但在一大桶（~1.5 tb）上创建表失败，错误如下：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.thrift.transport.TTransportException

我查看了hive日志，但没有突出显示：/mnt/var/log/hive。不确定问题出在哪里，因为这个错误非常普遍。我基本上都是一字不差地关注着博客帖子，10到15分钟后脚本就出错了

CREATE EXTERNAL TABLE IF NOT EXISTS Accesslogs(....

更新：我找到了更多的日志信息，还以调试模式运行了配置单元。emr得到到metastore的间歇性连接失败，然后最终失败
.........
在org.apache.hadoop.hive.ql.exec.task.executetask（任务。java:199)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.ql.exec.taskrunner.runsequential（taskrunner）。java:100)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.launchtask（driver。java:2183)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.execute（驱动程序。java:1839)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.runinternal（driver。java:1526)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.run（driver。java:1237)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.run（驱动程序。java:1227)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.processlocalcmd（clidriver。java:233)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.processcmd（clidriver。java:184)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.processline（clidriver。java:403)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.executedriver（clidriver。java:821)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.run（clidriver。java:759)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.main（clidriver。java:686)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在sun.reflect.nativemethodaccessorimpl.invoke0（本机方法）~[？：1.8.0\u 151]在sun.reflect.nativemethodaccessorimpl.invoke（nativemethodaccessorimpl）。java:62)~[？：1.8.0_]在sun.reflect.delegatingmethodaccessorimpl.invoke（delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke（method。java:498)~[？：1.8.0\u 151]位于org.apache.hadoop.util.runjar.run（runjar。java:221)[hadoop-common-2.7.3-amzn-5.jar:？]位于org.apache.hadoop.util.runjar.main（runjar。java:136)[hadoop-common-2.7.3-amzn-5.jar:？]原因：java.net.connectexception:连接被拒绝（连接被拒绝）位于java.net.plainsocketimpl.socketconnect（本机方法）~[？：1.8.0_]位于java.net.abstractplainsocketimpl.doconnect（abstractplainsocketimpl）。java:350)~[？：1.8.0\u 151]位于java.net.abstractplainsocketimpl.connecttoaddress（abstractplainsocketimpl。java:206)~[？：1.8.0_]在java.net.abstractplainsocketimpl.connect（abstractplainsocketimpl。java:188)~[？：1.8.0\u 151]在java.net.socksocketimpl.connect（sockssocketimpl。java:392)~[？：1.8.0_]在java.net.socket.connect（socket。java:589)~[？：1.8.0_]在org.apache.thrift.transport.tsocket.open（tsocket。java:221)~[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0] ... 33更多信息2017-12-10t15:18:18718信息[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient。java:open（506））-在下一次连接尝试之前等待1秒钟。2017-12-10t15:18:19719信息[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient。java:open（392））-正在尝试连接到uri为的元存储thrift://ip-172-50-31-107.ec2.internal：9083 2017-12-10t15:18:19，719警告[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient。java:open（472））-未能连接到元存储服务器。。。org.apache.thrift.transport.tttransportException:java.net.connectexception:org.apache.thrift.transport.tsocket.open（tsocket）上的连接被拒绝（连接被拒绝）。java:226)~[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.metastore.hivemetastoreclient.open（hivemetastoreclient。java:465) [hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.metastore.hivemetastoreclient.reconnect（hivemetastoreclient）。java:335)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.metastore.retryingmetastoreclient.invoke（retryingmetastoreclient。java:163)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在com.sun.proxy.$proxy37.createtable（未知源）[？：？]位于sun.reflect.nativemethodaccessorimpl.invoke0（本机方法）~[？：1.8.0_]位于sun.reflect.nativemethodaccessorimpl.invoke（nativemethodaccessorimpl）。java:62)~[？：1.8.0_]在sun.reflect.delegatingmethodaccessorimpl.invoke（delegatingmethodaccessorimpl。java:43)~[？：1.8.0_]在java.lang.reflect.method.invoke（方法。java:498)~[？：1.8.0\u 151]位于org.apache.hadoop.hive.metastore.hivemetastoreclient$synchronizedhandler.invoke（hivemetastoreclient）。java:2303)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在com.sun.proxy.$proxy37.createtable（未知源）[？：？]在org.apache.hadoop.hive.ql.metadata.hive.createtable（hive。java:854) [hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.metadata.hive.createtable（hive。java:869)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.ql.exec.ddltask.createtable（ddltask）。java:4356)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.ql.exec.ddltask.execute（ddltask）。java:354) [hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.exec.task.executetask（任务。java:199)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.ql.exec.taskrunner.runsequential（taskrunner）。java:100)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.launchtask（driver。java:2183) [hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.execute（driver。java:1839)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.runinternal（driver。java:1526)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.run（driver。java:1237) [hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.ql.driver.run（driver。java:1227)[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.processlocalcmd（clidriver。java:233)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.processcmd（clidriver。java:184) [配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.processline（clidriver。java:403)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.executedriver（clidriver。java:821)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在org.apache.hadoop.hive.cli.clidriver.run（clidriver。java:759) [配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]位于org.apache.hadoop.hive.cli.clidriver.main（clidriver。java:686)[配置单元cli-2.3.1-amzn-0。jar:2.3.1-amzn-0]在sun.reflect.nativemethodaccessorimpl.invoke0（本机方法）~[？：1.8.0\u 151]在sun.reflect.nativemethodaccessorimpl.invoke（nativemethodaccessorimpl）。java:62)~[？：1.8.0_]在sun.reflect.delegatingmethodaccessorimpl.invoke（delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke（method。java:498)~[？：1.8.0\u 151]位于org.apache.hadoop.util.runjar.run（runjar。java:221)[hadoop-common-2.7.3-amzn-5.jar:？]位于org.apache.hadoop.util.runjar.main（runjar。java:136)[hadoop-common-2.7.3-amzn-5.jar:？]原因：java.net.connectexception:连接被拒绝（连接被拒绝）位于java.net.plainsocketimpl.socketconnect（本机方法）~[？：1.8.0_]位于java.net.abstractplainsocketimpl.doconnect（abstractplainsocketimpl）。java:350)~[？：1.8.0\u 151]位于java.net.abstractplainsocketimpl.connecttoaddress（abstractplainsocketimpl。java:206)~[？：1.8.0_]在java.net.abstractplainsocketimpl.connect（abstractplainsocketimpl。java:188)~[？：1.8.0\u 151]在java.net.socksocketimpl.connect（sockssocketimpl。java:392)~[？：1.8.0_]在java.net.socket.connect（socket。java:589)~[？：1.8.0_]在org.apache.thrift.transport.tsocket.open（tsocket。java:221)~[hive-exec-2.3.1-amzn-0。jar:2.3.1-amzn-0] ... 33更多信息2017-12-10t15:18:19720信息[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient。java:open（506））-在下一次连接尝试之前等待1秒钟。2017-12-10t15:18:20721信息[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient。java:open（392））-正在尝试连接到uri为的元存储thrift://ip-172-50-31-107.ec2.internal：9083 2017-12-10t15:18:20，721信息[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient。java:open（466））-已打开到metastore的连接，当前连接：1 2017-12-10t15:18:20795信息[e74af478-3227-4bf9-9fde-74d8bf5f0 main（[]）]：hive.metastore（hivemetastoreclient）。java:open（519））—连接到元存储。2017-12-10t15:18:28013调试[java sdk http connection reaper（[]）]：conn.poolighttpClientConnectionManager（poolighttpClientConnectionManager）。java:closeidleconnections（401））-关闭空闲时间超过60000毫秒的连接2017-12-10t15:18:28，014调试[java sdk http connection reaper（[]）]：conn.poolighttpClientConnectionManager（poolighttpClientConnectionManager）。java:closeidleconnections（401））-关闭空闲时间超过60000毫秒的连接2017-12-10t15:19:28，014调试[java sdk http connection reaper（[]）]：conn.poolighttpClientConnectionManager（poolighttpClientConnectionManager）。java:closeidleconnections（401））-关闭空闲时间超过60000毫秒的连接2017-12-10t15:19:28，014调试[java sdk http connection reaper（[]）]：conn.poolighttpClientConnectionManager（poolighttpClientConnectionManager）。java:closeidleconnections（401））-关闭空闲时间超过60000毫秒的连接2017-12-10t15:20:28，014调试[java sdk http connection reaper（[]）]：conn.poolighttpClientConnectionManager（poolighttpClientConnectionManager）。java:closeidleconnections（401））-关闭空闲时间超过60000毫秒的连接2017-12-10t15:20:28014调试[java]-