ubuntu从0安装HBase和HBase所依赖的环境的安装配置 - Choyeon(初雨博客)

/ 0评 / 0

ubuntu从0安装HBase和HBase所依赖的环境的安装配置

  1. java环境的安装和配置
  2. hadoop安装和配置
  3. hbase安装和配置

由于后面需要安装openssh-server所以我在这里将软件源修改为国内的更新源

sudo vi /etc/apt/sources.list

deb http://mirrors.aliyun.com/kali kali-rolling main non-free contrib
deb-src http://mirrors.aliyun.com/kali kali-rolling main non-free contrib
12
deb http://mirrors.tuna.tsinghua.edu.cn/kali kali-rolling main contrib non-free
deb-src https://mirrors.tuna.tsinghua.edu.cn/kali kali-rolling main contrib non-free
12
apt-get dist-upgrade
apt-get update
apt-get full-upgrade
apt-get clean
reboot

一、ubuntu安装SSH

  1. 安装Hadoop在Linux环境下之前,需要建立和使用Linux SSH(安全Shell)。按照下面设立Linux环境提供的步骤。 SSH设置和密钥生成 SSH设置需要在集群上执行不同的操作,如启动,停止和分布式守护shell操作。进行身份验证不同的Hadoop用户,需要一种用于Hadoop的用户提供的公钥/私钥对,并用不同的用户共享。
    因为在Hadoop启动以后,namenode是通过SSH来启动和停止各个节点上的各种守护进程的
# ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# chmod 0600 ~/.ssh/authorized_keys
ssh localhost

一开始安装会出现错误

sudo apt-get install openssh-server

二、java环境的安装和配置

sudo apt install openjdk-8-jre-headless
sudo apt install openjdk-8-jdk-headless
vi /etc/profile   //打开配置文件
// shift+g跳到配置文件的最后一行,o(在当前行的下一行打开编辑模式)将以下命令写入配置文件中
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export PATH=${JAVA_HOME}/bin:$PATH

三、hadoop安装和配置

cd /usr/local
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
# hadoop国内镜像离线下载地址:北京信息学院镜像http://mirror.bit.edu.cn/apache/hadoop/common/
tar xzf hadoop-2.7.7.tar.gz
mkdir hadoop
mv hadoop-2.7.7/* hadoop/
  1. 安装 Hadoop
    在这里安装模拟分布式模式的Hadoop。
  2. 设置 Hadoop 环境变量
    打开Hadoop 的环境变量文件 sudo vi ~/.bashrc
    export HADOOP_HOME=/usr/local/hadoop
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    export HADOOP_INSTALL=$HADOOP_HOME

source ~/.bashrc 应用

Hadoop配置
根据需要Hadoop将配置文件中的内容作修改。

cd $HADOOP_HOME/etc/hadoop

为了使用Java开发Hadoop程序,必须用java在系统中的位置来替换 hadoop-env.sh文件中的 java环境变量JAVA_HOME的值

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置Hadoop

<configuration>
<property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>
<configuration>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
</configuration>
<configuration>
<property>
 <name>dfs.replication</name >
 <value>1</value>
 </property>
 <property>
 <name>dfs.name.dir</name>
 <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
 </property>
 <property>
 <name>dfs.data.dir</name>
 <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value>
 </property>
</configuration>
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>
  1. 验证Hadoop
cd ~
hdfs namenode -format

可能会报权限或者文件目录找不到的错误
查看报错信息是因为文件下载下来后没有相关的权限,或者我们之前配置的文件路径有误,一定要填写自己的文件路径
相应的就解决方案sudo chmod赋予相关的权限即可
或者mkdir -p 创建与报错信息相关的目录

start-dfs.sh
start-yarn.sh
http://localhost:50070
在这里插入图片描述
http://localhost:8088/
在这里插入图片描述

安装 zookeeper

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz

mv apache-zookeeper-3.6.2 zookeeper-3.6.2
cd zookeeper-3.6.2/
cd conf/
# 进入解压目录的conf目录,复制配置文件zoo_sample.cfg并命名为zoo.cfg,相关命令为:
cp zoo_sample.cfg zoo.cfg
#  编辑zoo.cfg文件
vi zoo.cfg
# 增加dataDir和dataLogDir目录,目录自己创建并指定,用作数据存储目录和日志文件目录
dataDir=/home/local/zk/data
dataLogDir=/home/local/zk/logs
# 配置系统环境变量
# 添加
export ZOOKEEPER_HOME=/home/kinson/zk 
PATH=$ZOOKEEPER_HOME/bin:$PATH



# 启动ZK服务       
zkServer.sh start
# 查看ZK服务状态 
zkServer.sh status
# 停止ZK服务       
zkServer.sh stop
# 重启ZK服务       
zkServer.sh restart

四、hbase安装和配置

  1. 下载HBase
   wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.4.13/hbase-1.4.13-bin.tar.gz
   离线下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/
  1. ```txt
    解压:tar -zxvf hbase-1.4.13-bin.tar.gz
    移动到自己的目录:sudo mv hbase-1.4.9 /usr/local
3. 进入conf目录,在 hbase-env.sh后面添加如下内容,**注意这里的JAVA_HOME填自己的jdk路径**

txt
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 注意这里的JAVA_HOME填自己的jdk路径
export HBASE_MANAGES_ZK=false

4. 修改HBase的主配置文件hbsae-site.xml:在单实例HBase运行环境下,主要是修改指定HBase和ZooKeeper的写数据目录

txt
//Here you have to set the path where you want HBase to store its files. //HBase数据保存目录 hbase.rootdir file:/home/hadoop/HBase/HFiles //Here you have to set the path where you want HBase to store its built in zookeeper files. //Zookeeper的数据保存目录 hbase.zookeeper.property.dataDir /home/hadoop/zookeeper

1. 添加到环境变量

txt
sudo vi ~/.bashrc

export HBASE_HOME=/usr/local/hbase-1.4.13//填写自己的路径
export HBASE_CONF_DIR=$HBASE_HOME/conf
export HBASE_CLASS_PATH=$HBASE_CONF_DIR
export PATH=$PATH:$HBASE_HOME/bin

使用source ~/.bashrc命令语句使修改的 .bashrc文件立即生效

1. 验证

- 使用hbase version 命令测试是否修改.bashrc文件成功,如能显示HBase正确的版本则说明修改成功。

- 可以通过使用 HBase 的 bin 文件夹中提供 start-hbase.sh 脚本启动HBase

- 停止HBase:stop-hbase.sh

- 可以通过使用./hbase shell打开hbase的客户端进行操作

- 测试hbase 基础操作

sql
# 创建表
create 'student', 'score'
# list: 列出HBase的所有表

# 查看表结构
describe 'student'

# 删除数据
# 用drop命令可以删除表。在删除一个表之前必须先将其禁用。
disable 'student'
drop 'student'

# 添加数据
put 'student', 'zhangsan', 'score:english', '69'
put 'student', 'zhangsan', 'score:Math', '86'
put 'student', 'zhangsan', 'score:Computer', '69'
put 'student', 'lisi', 'score:english', '55'
put 'student', 'lisi', 'score:Math', '100'
put 'student', 'lisi', 'score:Computer', '77'

# 查询数据
scan 'student'
get 'student', 'zhangsan', 'score:Computer'

# 修改数据
put 'student', 'lisi', 'score:Math', '95'

# 删除数据
delete 'student', 'lisi', 'score:Math'

# 删除表的所有单元格
deleteall 'student', 'lisi'

# count命令计算表的行数量
count 'student'
```

在这里插入图片描述

发表评论

邮箱地址不会被公开。 必填项已用*标注