hadoop版本:hadoop-0.20.2 http://apache.etoak.com//hadoop/common/hadoop-0.20.2/
安装配置Hadoop请参考:http://booby325.iteye.com/admin/blogs/1309940
HBase版本:Hbase-0.90.3 http://apache.etoak.com//hbase/hbase-0.90.3/
Hbase书籍:http://hbase.apache.org/book/book.html
1.将HBase解压后,放到Hadoop某一目录下。此处我们可以建立一个叫v20Habse的目录.[应该也可以不用这样做]
2.编辑{HBASE_HOME}/conf/hbase-env.sh文件
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HBASE_CLASSPATH=/home/daisy/hadoop-0.20.2 (可选,不写貌似也没问题)
3.编辑{HBASE_HOME}/conf/hbase-site.xml 文件,增加
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
注意:ip和端口号必须与hadoop中core-site.xml中fs.default.name中的ip和端口相同,否则会出错。此外,启动Hbase之前一定要确保hdfs中已经存在了hbase root路径。
4.替换Hbase中的jar包
需要用{HADOOP_HOME}下的hadoop-0.20.2-core.jar 替换{HBASE_HOME}/lib目录下的hadoop-core-0.20-append-r1056497.jar. 如不替换,则Hbase启动时会因为hadoop和Hbase的客户端协议不一致而导致HMaster启动异常
localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
还出现过,说找不到localhost:9000的错误。替换jar包则正常。
5. 使用HBase:
启动: bin/start-hbase.sh
停止: bin/stop-hbase.sh
使用: bin/hbase shell 进入HBase命令行模式
hbase(main):004:0> create 'userlibrary', {NAME => 'lib', VERSION => 1}
0 row(s) in 1.2460 seconds
hbase(main):005:0> list
TABLE
userdata
userlibrary
2 row(s) in 0.0220 seconds
Note:
1. HBase的运行需要用到zookeeper,而hbase-0.90.3自带了zookeeper,所以可以使用hbase自带的zookeeper. 在conf/hbase-env.sh 文件中export HBASE_MANAGES_ZK=true表示使用hbase自带的zookeeper,如果不想使用其自带的zookeeper,自己下载包安装的话,该项设置为false. 如果自己安装zookeeper,启动及关闭先后顺序为:启动Hadoop—>启动ZooKeeper集群—>启动HBase—>停止HBase—>停止ZooKeeper集群—>停止Hadoop。
2. HBase启动时报错:
localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
是上面hbase安装时没有替换jar包的原因。
3. 运行时可能出现HBase一直等待dfs推出安全模式的情况,Waiting for dfs to exit safe mode
Safe mode is exited when the minimal replication condition is reached, plus an extension time of 30 seconds. The minimal replication condition is when 99.9% of the blocks in the whole filesystem meet their minimum replication level (which defaults to one, and is set by dfs.replication.min).
安全模式的退出前提 - 整个文件系统中的99.9%(默认是99.9%,可以通过dfs.safemode.threshold.pct设置)的Blocks达到最小备份级别(默认是1,可以通过hdf-site.xml中dfs.replication.min设置,比如0.5)。
或者用户可以通过hadoop dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待,一直到安全模式结束
分享到:
相关推荐
Hadoop+Zookeeper+Hbase安装配置使用.pdf
Hadoop+Hbase技术使用文档 1 目的 3 2 运行环境要求 4 2.1 支持的平台 4 2.2 硬件环境 4 2.3 软件环境 4 2.4 其他要求 5 3 安装jdk 5 3.1 查看本机的jdk版本 5 3.2 卸载低版本jdk 5 3.3 安装jdk 6 3.4 配置JDK1.6.0_...
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
大数据hbase测试项目, String boot + hadoop + hbase 的一个测试项目 1.jdk路径不能有空格,中文 2.spring 示例官方xml配置中需有调整,避免 delete xxx 异常。 3.maven本地版本不能小于cm上hadoop、hbase版本。
数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
windows安装配置jdk+hadoop+hbase
搭建hadoop单机版+hbase单机版+pinpoint整合springboot
公司进行战略调整阶段,终于可以闲下心来潜心研究分布式应用Hadoop。至于hadoop的应用结构,在这里不必多说...三、Fedora服务器Hbase配置安装过程 四、Windows下eclipse配置hadoop插件 五、Eclipse运行WordCount项目
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
Hadoop(Hbase)的安装部署与配置实验
hadoop2.6.0+HA+Zookeeper3.4.6+hbase1.0.0安装配置步骤详细文档,包括各种xml配置文件
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
单位用的云计算hadoop伪集群+hbase安装配置手册(伪集群),工业级,已有成果项目
Hadoop hbase hive sqoop集群环境安装配置及使用文档
描述了centOS6.5(虚拟机)环境下,hadoop2.7.1+hbase1.3.5版本的安装配置过程,以及个人在安装过程中遇到的问题与总结
此文档是本人学习hadoop和hbase的一些列基础文档,借鉴了网络资料。
因为配置大数据的基础环境特别费事,因此这里搭建好了一份基础环境
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建