genius_bai
- 浏览: 80930 次
- 性别:
- 来自: 上海
-
最新评论
-
egoegmdslls：
你好，请问文中的examples是哪里的？怎么下载，谢谢！
Hbase MapReduce例子 -
亦梦亦真：
你说的那个无解的问题我也遇到过，正在求解中……
Hadoop 异常处理
文章列表
[b]Node.js静态文件服务器实战[/b]
[url=http://www.infoq.com/cn/news/2011/11/tyq-nodejs-static-file-server]http://www.infoq.com/cn/news/2011/11/tyq-nodejs-static-file-server[/url]
Domain Driven Design Quickly
[url=http://www.infoq.com/minibooks/domain-driven-design-quickly]http://www.infoq.com/minibook ...
- 2011-11-25 15:50
- 浏览 692
- 评论(0)
[Hadoop] Hive 性能
利用Hive Bulk Inport数据到Hbase
http://wiki.apache.org/hadoop/Hive/HBaseBulkLoad
生成测试数据
/home/bmb/jdk1.6.0_16/bin/java -cp examples.zip examples.CreateLogFile 1 1000000
/home/bmb/jdk1.6.0_16/bin/java -cp examples.zip examples.CreateLogFile 1000000 2000000
/home/bmb/jdk1 ...
[Hadoop] Hive HQL
http://wiki.apache.org/hadoop/Hive/GettingStarted
Hive Shell 例子
设置Map和Reduce
set mapred.map.tasks=1;
SET mapred.reduce.tasks=1;
http://www.cxrs.org/SQL/10584.html
CREATE TABLE pokes (foo INT, bar STRING);
/user/hive/warehouse/pokes
CREATE TABLE invites (f ...
JRuby
下载
http://jruby.org.s3.amazonaws.com/downloads/1.4.0/jruby-bin-1.4.0.tar.gz
安装
Extract JRuby into a directory. Add that directory's bin subdirectory to the end of your path. Test it: jruby -v
gzip -d jruby-bin-1.4.0.tar.gz
tar xvf jruby-bin-1.4.0.tar
cd jruby-1.4.0/
chmod 700 ...
HIVE
http://hadoop.apache.org/hive/
http://wiki.apache.org/hadoop/Hive/GettingStarted
下载
wget http://labs.renren.com/apache-mirror/hadoop/hive/hive-0.5.0/hive-0.5.0-bin.tar.gz
Cloudera版本的Hadoop和Hive
http://archive.cloudera.com/cdh
安装步骤：
hive-0.5.0-bin\README.txt
gzip -d hive-0.5 ...
Hadoop 资源
淘宝Hadoop的技术分享
http://rdc.taobao.com/blog/dw/archives/category/hadoop
http://rdc.taobao.com/blog/dw/archives/244
Hadoop基本流程与应用开发
http://www.infoq.com/cn/articles/hadoop-process-develop
Hadoop性能调优
http://wiki.apache.org/hadoop/PerformanceTuning
HBase性能调优
http://wiki.apach ...
ZooKeeper
下载
http://labs.renren.com/apache-mirror/hadoop/zookeeper/zookeeper-3.3.0/zookeeper-3.3.0.tar.gz
Hbase Mapreduce 例子
http://hadoop.apache.org/hbase/docs/current/api/org/apache/hadoop/hbase/mapreduce/package-summary.html#package_description
http://wiki.apache.org/hadoop/Hbase/MapReduce （Deprecated）
需要重启Hadoop的方式
所有机器都有修改配置
1:修改$HADOOP_HOME/conf/hadoop-env.sh ，添加HBase类库引用
export HBASE_HOM ...
Hadoop + HBase 集群
最好在各个服务器的/etc/hosts里面，配置机器名：IP对，以下所有配置文件，都用机器名
192.168.2.79 webdev
192.168.5.11 TEST-A
192.168.5.12 TEST-B (后来新增)
下载最新的HBase
http://labs.renren.com/apache-mirror/hadoop/hbase/hbase-0.20.3/
安装步骤
http://hadoop.apache.org/hbase/docs/r0.20.3/api/overview-summary.html ...
Hadoop 集群搭建
集群配置 (用IP配置，不用域名，别名)
（注意：最好2台机器，相同的用户名，相同的安装目录。）
192.168.2.79 主（webdev）：/home/iic/hadoop-0.20.2/
192.168.5.11 副 (TEST-A)： /home/iic/hadoop-0.20.2/
Hadoop 例子
MR作业的串联
有时候，用一个单独的Map/Reduce作业并不能完成一个复杂的任务，用户也许要链接多个Map/Reduce作业才行。这是容易实现的，因为作业通常输出到分布式文件系统上的，所以可以把这个作业的输出作为下 ...
Hadoop
下载：http://labs.renren.com/apache-mirror/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
Windows下安装：
http://www.cygwin.com/setup.exe
Cygwin DLL：
http://src.chromium.org/viewvc/chrome/trunk/src/third_party/cygwin/bin/?pathrev=490
安装出错的时候，重装就OK
下载
gzip hadoop-0.20.2.tar.gz
t ...
错误处理：
l org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /tmp/hadoop-Administrator/mapred/system. Name node is in safe mode.
手动删除：E:\TMP\hadoop-Administrator\mapred\system
Safe mode is ON. The ratio of reported blocks 1.0000 has re ...
Cassandra
下载
http://www.apache.org/dyn/closer.cgi?path=/cassandra/0.5.1/apache-cassandra-0.5.1-bin.tar.gz
apache-cassandra-0.5.1自带的hector-0.5.0-7.jar有严重的性能问题，需要修改成hector-0.5.1-9.jar
资源
http://cassandra.apache.org/
http://wiki.apache.org/cassandra/FrontPage
部署