hortonworks ha namenodes提供错误“state standby中不支持操作类别读取”

w41d8nur  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(322)

我的hadoop集群ha活动namenode(host1)突然切换到备用namenode(host2)。我在hadoop日志中(在任何服务器中)找不到任何错误来确定根本原因。
在切换namenodes之后,hdfs日志中经常出现以下错误,应用程序的非用户可以读取hdfs文件。
2014-07-17 01:58:53381警告namenode.fsnamesystem(fsnamesystem。java:getcorruptfiles(6769))-获取损坏的文件块返回错误:在待机状态下不支持读取操作类别
重新启动新的活动节点(host2)后,namenode将切换回新的备用节点(host1)。然后集群正常工作,用户还可以检索hdfs文件。
我使用的是HortonWorks2.1.2.0和hdfs版本2.4.0.2.1
edit:21st jult 2014发生主备名称节点切换时,在活动名称节点日志中发现以下日志
nt\u settings-1675610.csv dst=null perm=null 2014-07-20 09:06:44746 info fsnamesystem.audit(fsnamesystem。java:logauditmessage(7755))-允许=真
ugi=风暴(auth:simple)ip=/10.0.1.50 cmd=getfileinfo src=/user/tungste/staging/leapset/products/products-138018 6.csv dst=null perm=null 2014-07-20 09:06:44747 info fsnamesystem.audit(fsnamesystem)。java:logauditmessage(7755))-允许=真ugi=风暴(auth:simple)ip=/10.0.1.50
cmd=getfileinfo src=/user/tungstend/staging/leapset/merchant\u settings/mercha nt\u settings-1695794.csv dst=null perm=null 2014-07-20 09:06:44747 info fsnamesystem.audit(fsnamesystem)。java:logauditmessage(7755))-允许=真
ugi=风暴(auth:simple)ip=/10.0.1.50 cmd=getfileinfo src=/user/tungste/staging/leapset/products/products-139954 1.csv dst=null perm=null 2014-07-20 09:06:44748 info namenode.fsnamesystem(fsnamesystem)。java:stopactiveservices(1095))-停止活动状态下的服务2014-07-20 09:06:44,750 info namenode.fseditlog(fseditlog。java:endcurrentlogsegment(1153))-结束日志段842249 2014-07-20 09:06:44,752 info namenode.fseditlog(fseditlog。java:printstatistics(673))-事务数:2事务总时间(ms):0同步批处理事务数:0同步数:1同步次数(ms):4 35 2014-07-20 09:06:44,774 info namenode.fseditlog(fseditlog。java:printstatistics(673))-事务数:2事务总时间(ms):0同步批处理的事务数:0同步数:2同步次数(ms):24 37 2014-07-20 09:06:44805 info namenode.fsnamesystem(fsnamesystem)。java:run(4362))-nameNodeDitLogroller被中断,退出2014-07-20 09:06:44824 info namenode.filejournalmanager(filejournalmanager。java:finalizelogsegment(130))-完成编辑文件/ebs/hadoop/hdfs/namenode/current/edits\u inprogress\u0000000000000842249->/ebs/hadoop/hdfs/name node/current/edits\u0000000842249-0000000842250 2014-07-20 09:06:44,874信息块管理.cachereplicationmonitor(cachereplicationmonitor。java:run(168))-关闭cachereplicationmonitor 2014-07-20 09:06:44876 info namenode.fsnamesystem(fsnamesystem)。java:startstandbyservices(1136))-启动备用状态所需的服务2014-07-20 09:06:44,927 info ha.editlogtailer(editlogtailer.java:(117))-将每隔120秒在hadoop-client-us-west-1b/10.0.254.10:8020的活动节点上滚动日志。2014-07-20 09:06:44929信息ha.standbycheckpointer(standbycheckpointer。java:start(129))-正在启动备用检查点线程。。。检查点活动nn位于http://hadoop-client-us-west-1b:50070服务检查点位于http://hadoop-client-us-west-1a:50070 2014-07-20 09:06:44930 info ipc.server(server。java:run(2027))—8020上的ipc服务器处理程序3,从10.0.1.50:57297调用org.apache.hadoop.hdfs.protocol.clientprotocol.getfileinfo调用#8431877重试#0:org.apache.hadoop.ipc.standbyexception:状态待机2014-07-20 09:06:44930 info ipc.server(服务器)中不支持操作类别读取。java:run(2027))—8020上的ipc服务器处理程序16,从10.0.1.50:57294调用org.apache.hadoop.hdfs.protocol.clientprotocol.getfileinfo调用#130105071重试#0:org.apache.hadoop.ipc.standbyexception:状态待机2014-07-20 09:06:44940 info ipc.server(服务器)中不支持操作类别读取。java:run(2027))—8020上的ipc服务器处理程序14,从10.0.1.50:57294调用org.apache.hadoop.hdfs.protocol.clientprotocol.getfileinfo调用#130105072重试#0:org.apache.hadoop.ipc.standbyexception:在待机状态下不支持读取操作类别
edit:13th august 2014年我们找到了namenode切换的根本原因,namenode收到了大量的文件信息请求,然后namenode发生了切换。
但仍无法获取解析操作类别状态待机中不支持读取错误。
edit:7th december 2014我们发现,由于解决方案应用程序需要在以前的活动namenode失败后手动连接当前活动namenode。ha模式下namenodes的流量不会自动定向到活动节点。

qco9c6ql

qco9c6ql1#

我也有同样的问题。您需要更新客户端库。使用amabari设置spark并让它在服务器上安装客户端。然后设置spark\u home环境变量。

相关问题