错误处理:
l org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /tmp/hadoop-Administrator/mapred/system. Name node is in safe mode.
手动删除:E:\TMP\hadoop-Administrator\mapred\system
Safe mode is ON. The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 10 seconds.
正常状态,耐心等待退出Safe mode
10/04/09 16:16:51 INFO ipc.Client: Retrying connect to server: /192.168.2.79:9000. Already tried 0 time(s).
Hadoop 没有启动
SSH问题:
http://snowyowls.blogbus.com/logs/2575305.html
新建账户bmb
创建passphraseless ssh失败
ssh localhost
查看日志:tail -f /var/log/secure
Dec 14 14:12:53 localhost sshd[19845]: Authentication refused: bad ownership or modes for file /home/bmb/.ssh/authorized_keys
原因:authorized_keys需要是644权限
chmod 644 authorized_keys
同时,.ssh的上级目录需要700权限
Hadoop + Hbase Map reduce, Map Task 异常(无解)
2010-04-13 21:17:40,363 WARN org.mortbay.log: Ignore, probably already closed
java.io.IOException: The client is stopped
at org.apache.hadoop.hbase.ipc.HBaseClient.getConnection(HBaseClient.java:809)
at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:712)
at org.apache.hadoop.hbase.ipc.HBaseRPC$Invoker.invoke(HBaseRPC.java:333)
at $Proxy2.close(Unknown Source)
at org.apache.hadoop.hbase.client.ScannerCallable.close(ScannerCallable.java:101)
at org.apache.hadoop.hbase.client.ScannerCallable.call(ScannerCallable.java:72)
at org.apache.hadoop.hbase.client.ScannerCallable.call(ScannerCallable.java:38)
at org.apache.hadoop.hbase.client.HConnectionManager$TableServers.getRegionServerWithRetries(HConnectionManager.java:1035)
at org.apache.hadoop.hbase.client.HTable$ClientScanner.nextScanner(HTable.java:1899)
at org.apache.hadoop.hbase.client.HTable$ClientScanner.next(HTable.java:2017)
at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase$TableRecordReader.nextKeyValue(TableInputFormatBase.java:207)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:423)
at org.apache.hadoop.mapreduce.MapContext.nextKeyValue(MapContext.java:67)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
-----------------------------------------------------------------------------
当集群建立后,想推倒重来
bin/hadoop namenode -format
重启后
bin/start-all.sh
日志报错(原因是DataNode启动不正常,因为DataNode所在的目录没有清空,/tmp/hadoop-iic/目录是HDFS)
2.168.2.79:43702: error: java.io.IOException: File /tmp/hadoop-iic/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
查看DataNode的错误日志:
java.io.IOException: Incompatible namespaceIDs in /home/iic/hadoop-0.20.2/hdfs-data: namenode namespaceID = 1444851414; datanode namespaceID = 620054427
清空集群里,所有目录/home/iic/hadoop-0.20.2/hdfs-data下的东西
the hadoop-site.xml cannot resolve host names from a remote node.
http://www.manning-sandbox.com/thread.jspa?messageID=90693
网络配置
vi /etc/hosts
vi /etc/sysconfig/network
Redhat关闭SendMail
chkconfig sendmail off
could only be replicated to 0 nodes, instead of 1
http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment
等http://your_host:50070/dfshealth.jsp 能够显示,再操作hadoop
Cannot delete /tmp/hadoop-bmb/mapred/system. Name node is in safe mode.
等到Hadoop自动离开Safenode就可以了
Incompatible namespaceIDs in /home/bmb/hadoop-0.20.1/hdfs-data: namenode namespaceID = 835083767; datanode namespaceID = 1431413652
修改DataNode跟NameNode一样:hdfs-data/current/VERSION
java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion
分享到:
相关推荐
Hadoop安装及常见异常处理,记录了在Hadoop安装中可能出现的几类常见异常及其解决方案
数据处理及流量安全检测四个部分,可以完美解决移动互联网流量数据从数据的采集到最后的数据处理这一业务流程,通过引入云计算技术实现了对海量数据的存储及高效的数据处理,并基于云计算技术进行快速的异常流量检测来...
《高可用性的HDFS——...其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下avatarnode的各种处理方案
Hadoop本身是由Yahoo!公司开发的后来贡献给了Apache的一套开源的、可靠的分布式架构 Hadoop提供了简单的编程模型...Hadoop本身提供了用于处理和探测异常的机制(Rather than rely on hardware to deliver high-availabi
1.本项目利用Hadoop处理高校无线定位大数据,有效地将位置信息应用于学生时空行为模式挖掘,建立基于精准位置信息的行为数据挖掘计算模型。 2.基于Hadoop计算平台,并实现对大数据进行可视化分析的Web系统。 3.利用...
HA是High Availability的简写,即高可用,指当前工作中的机器宕机后,会自动处理这个异常,并将工作无缝地转移到其他备用机器上去,以来保证服务的高可用。(简言之,有两台机器,一台工作,一台备用,当工作机挂了...
《Hadoop硬实战》包含: ·Hadoop和MapReduce的基本概念 ·85个实战和测试技术 ·真实的场景,实用的解决方案 ·如何整合MapReduce和R前言 致谢关于本书 第1 部分 背景和基本原理1 跳跃中的Hadoop1.1 什么...
《高可用性的HDFS——...其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下avatarnode的各种处理方案
《高可用性的HDFS——...其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下avatarnode的各种处理方案
《高可用性的HDFS——...其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对avatarnode方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下avatarnode的各种处理方案
4. 实时分析和监控:结合Hadoop生态系统中的实时计算引擎如Apache Storm、Apache Flink等,系统可以实现实时数据分析和监控,及时发现并处理异常情况。 5. 可视化报表:系统支持数据可视化,...
利用Hadoop处理高校无线定位大数据,有效地将位置信息应用于学生时空行为模式挖掘,建立基于精准位置信息的行为数据挖掘计算模型。 2.基于Hadoop计算平台,并实现对大数据进行可视化分析的Web系统。 3.利用一些合适的...
3.4.3 Hadoop 纠删码概述…·…········· ·· ·· ····· ·· ····· · ··· · ······· ·· ….... . .. .…..... .. ....................... 147 3.4.4 纠删码技术在Hadoop 中的...
其中有关Backup Node 方案及AvatarNode 方案的内容是本书重点,尤其是对AvatarNode 方案从运行机制到异常处理方案的步骤进行了详尽介绍,同时还总结了各种异常情况下AvatarNode 的各种处理方案。
Hadoop处理高校无线定位大数据,有效地将位置信息应用于学生时空行为模式挖掘,建立基于精准位置信息的行为数据挖掘计算模型。 2.基于Hadoop计算平台,并实现对大数据进行可视化分析的Web系统。 3.利用一些合适的算法...
该项目重新启用了与LZO压缩文件的并行性,并且还带有用于处理LZO文件的标准实用程序(输入/输出流等)。起源该项目建立在所做的出色工作的基础上。 从第41期开始,此代码库中的区别如下。 它修复了hadoop-gpl-...
1.本项目利用Hadoop处理高校无线定位大数据,有效地将位置信息应用于学生时空行为模式挖掘,建立基于精准位置信息的行为数据挖掘计算模型。 2.基于Hadoop计算平台,并实现对大数据进行可视化分析的Web系统,采用ssm+...
6.2.2 map 端异常 技术点28 发现输入数据中的坑 技术点29 确定map 端数据倾斜问题 技术点30 判定map 任务吞吐量 技术点31 小文件 技术点32 不可切割的文件 6.2.3 reduce 端问题 技术点33 reducer 任务...
video-log-common:封装全局异常处理和常用工具 ## web展示模块 video-log-web:用于离线分析后的web展示,已完成的功能有每日采集概况、总采集概况、各分类播放排行、总播放排行、活跃用户分析、总收藏排行、总弹幕...
本文旨在构建一个庞大的网络流量数据管理平台,使用分布式存储和分布式计算框架来完成平台架构,并结合成熟的数据处理技术进行优化和扩展,同时还集成了分布式数据传输,HDFS和MapReduce,以及异常流量检测等关键...