1. 检查JDK版本是否相同并拷贝JDK,并配置/etc/profile文件的JAVA_HOME和CLASSPATH属性
2. 配置/etc/hosts文件,新增新加机器的计算机名,包括原有机器和新增机器都要修改该文件
3. 拷贝hadoop-2.6.0和hbase-1.0.1.1,并把hadoop-2.6.0和hbase-1.0.1.1文件夹的文件所有者和文件所属组改成hadoop
4. 配置Master到Slave的无密码登录
5. 设置机器句柄数,修改/etc/security/limits.conf,详见http://beyond3518.blog.51cto.com/1360525/1764190
6. 安装snappy
6.1 安装软件: Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc
安装方法 : yum install xxx
6.2 安装glibc方法 :
6.2.1 到192.168.9.110的/data/server/glibc-2.14.tar.gz拷贝文件,把该文件拷贝到/usr/local目录下
6.2.2 进入/usr/local目录下, cd /usr/local
6.2.3 解压glibc-2.14.tar.gz, tar -zxvf glibc-2.14.tar.gz
6.2.4 新建目录/usr/local/glibc, mkdir /usr/local/glibc
6.2.5 进入/usr/local/glibc目录, cd /usr/local/glibc
6.2.6 运行命令 export CFLAGS="-g -O2"
6.2.7 运行命令 /usr/local/glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
6.2.8 运行命令 make
6.2.9 运行命令 make install
6.2.10 验证是否安装成功 :
运行命令 : ll /lib64/libc.so.6 , 如果显示结果 /lib64/libc.so.6 -> libc-2.14.so , 则安装成功
7. 修改hadoop的slaves配置文件,添加新增节点,并把该配置文件发送到所有其他节点上去
8. 添加Datanode
对于新添加的Datanode节点,需要启动datanode进程,从而将其添加到集群
8.1 在新增的节点上,运行sbin/hadoop-daemon.sh start datanode即可
8.2 然后在namenode通过hdfs dfsadmin -report查看集群情况
8.3 最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandwidth 67108864即可
8.4 默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%
8.5 然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可
9. 添加Nodemanager
由于Hadoop 2.X引入了YARN框架,所以对于每个计算节点都可以通过NodeManager进行管理,同理启动NodeManager进程后,即可将其加入集群
9.1 在新增节点,运行sbin/yarn-daemon.sh start nodemanager即可
9.2 在ResourceManager,通过yarn node -list查看集群情况
10. 修改hbase的regionservers配置文件,添加新增节点.并把该配置文件发送到所有其他节点
11. 在新增的节点上,启动regionserver. 运行hbase-daemon.sh start regionserver即可
12. 修改InputService/StoreService服务器的/etc/hosts文件,添加新节点的域名
相关推荐
对Hadoop中的HDFS、MapReduce、Hbase系列知识的介绍。如果想初略了解Hadoop 可下载观看
Hadoop+Hbase技术使用文档 1 目的 3 2 运行环境要求 4 2.1 支持的平台 4 2.2 硬件环境 4 2.3 软件环境 4 2.4 其他要求 5 3 安装jdk 5 3.1 查看本机的jdk版本 5 3.2 卸载低版本jdk 5 3.3 安装jdk 6 3.4 配置JDK1.6.0_...
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
大数据面试题,大数据成神之路开启...Flink/Spark/Hadoop/Hbase/Hive... 已经更新100+篇~ 关注公众号~ 大数据成神之路目录 大数据开发基础篇 :skis: Java基础 :memo: NIO :open_book: 并发 :...
Hadoop(Hbase)的安装部署与配置实验
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
hadoop/etc/hadoop/6个文件 core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-env.sh yarn-site.xml
Hadoop Hive HBase Spark Storm概念解释
所以需要重新编译Container-executor,这边提供重新编译好的,默认加载配置文件路径/etc/hadoop/container-executor.cfg 使用方法: 1 替换/$HADOOP_HOME/bin/下的container-executor 2 创建/etc/hadoop目录,并将...
hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记
基于hadoop+hbase+springboot实现的分布式网盘系统,适合本科毕业设计 资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户...
Hadoop和Hbase安装使用教程
Hadoop之Hbase从入门到精通 .doc
hadoop+hbase+hive集群搭建
关于分布式安装,请浏览:http://hbase.apache.org/book/standalone_dist.html#distributed,关于HBase使用外置的ZooKeeper配置,请浏览:http://hbase.apache.org/book/zookeeper.html。所有在线的文档,均会出现在...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
hadoop+hbase集群搭建 详细手册
大数据hbase测试项目, String boot + hadoop + hbase 的一个测试项目 1.jdk路径不能有空格,中文 2.spring 示例官方xml配置中需有调整,避免 delete xxx 异常。 3.maven本地版本不能小于cm上hadoop、hbase版本。
数据算法Hadoop/Spark大数据处理技巧 源代码 内有部分数据集
上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和...