怎么利用hadoop搭建自己的云计算

我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。

一、怎么利用hadoop搭建自己的云计算

(1) 我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把hd-master、hd-node1、hd-node2三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。

命令如下:

cd /etc/   // 进入配置目录

vi hostname  // 编程hostname 配置文件

先点击 Esc : wq 保存

在另外两个节点上进行相同的操作

(2) 开启主机的DHCP模式，自动获取ip地址。方法如下：

cd /etc/sysconfig/network-scripts/           //进入网卡编辑目录

vi ifcfg-enp16777736                         //编辑网卡enp0s3的配置文件

重启网卡 service network restart

(3) 配置hosts

配置 hosts 主要是为了让机器能够相互识别主机

注：hosts文件是域名解析文件，在hosts文件内配置了 ip地址和主机名的对应关系，配置之后，通过主机名，电脑就可以定位到相应的ip地址 。

vi /etc/hosts

在hosts配置文件内容输入如下内容：使用同样的方式更改node1和node2的网卡配置。

(4) ssh 免密登录

ssh  一路回车

 ssh-keygen

使用如下命令将公钥复制要node1和node2节点中:

ssh-copy-id root@node1

ssh-copy-id root@localhost

ssh-copy-id root@node2

使用 ssh node1 实验是否能免密登录

注意：ssh免密设置后会在如下目录生成四个文件

(5) JDK环境安装(环境配置好后, 拷贝带其他节点)

在 master 中新建目录 /opt/bigdata/, 此目录下存放 hadoop 大数据所需要的环境包.

把下载好的JDK包和hadoop上传至master主机中,JDK是安装Hadoop的基础环境，所以需要优先安装好JDK环境(较好把包考到opt目录下下)

        连接好后将文件拖到opt目录下即可

解压 JDK 并配置环境变量

tar -zxvf jdk-8u181-linux-x64.tar.gz

 mv jdk1.8.0_181/ bigdata/

然后我们配置环境变量

vi /etc/profile

source /etc/profile  

java -version       #验证环境是否配置成功

(6)Hadoop 安装(环境配置好后, 拷贝带其他节点)

把 hadoop 的压缩包解压在当前文件夹然后移动到 bigdata 目录下

tar -zxvf hadoop-3.1.1.tar.gz

mv hadoop-3.1.1 bigdata/

配置 hadoop 环境变量

注：环境变量是让系统变量，在环境变量配置的命令目录后，该目录的命令将可以在任何位置都可以使用。

source profile

hadoop verison

配置 hadoop

cd /opt/bigdata/hadoop-3.1.1/etc/hadoop/

我们需要对   core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml进行配置

(1) 配置 hadoop-env.sh

编辑hadoop-env.sh文件。

命令如下:

vi hadopp-env.sh

查找JAVA_HOME 配置的位置

:/export JAVA_HOME

输入JAVA_HOME的绝对路径。

export JAVA_HOME=/opt/bigdata/jdk1.8.0_181     (要把前面的注释#去掉)

延伸阅读：

二、什么是数据库和数据库管理系统

数据库的应用非常广泛，举个例子，我们平时在浏览器上搜索内容，就要用到数据库去检索我们的关键字。以前我们可能会用数组、集合、文件等来存储数据，但是接下来我们就会面临一个问题，当存储的数据或内容过多的时候，我们如何去精准的找到我们需要的东西，这时候数据库管理系统就派上了用场。除此之外，数据库管理系统还能永久的储存我们的数据。

为了便于大家理解，这里先给大家讲解几个概念

DB数据库（database)：存储数据的“仓库”。它保存了一系列有组织的数据。

DBMS数据库管理系统（Database Management System)：数据库是通过DBMS创建和操作的容器。