首页 1 2 3 4 5 6 7

Hadoop的HDFS介绍和操作

一、HDFS概述

HDFS（Hadoop Distributed File System）：分布式文件系统

二、操作HDFS

1、通过Web Console：50070、50090

2、命令行

（1）操作命令 hdfs dfs ****

-mkdir 创建目录

举例：hdfs dfs -mkdir /aaa

hdfs dfs -mkdir -p /bbb/ccc -p表示如果父目录不存在则先创建父目录

-ls 查看某个目录

-ls -R 查看某个目录，包括子目录，简写：-lsr

-put 上传数据 hdfs dfs -put data.txt /input

-copyFromLocal 上传数据 hdfs dfs -copyFromLocal data.txt /input

-moveFromLocal 上传数据（相当于ctrl + x 剪切）

-copyToLocal 下载数据

-get 下载数据

-rm 删除目录

-rm -r 删除目录（递归删除包括子目录）简写 -rmr

hdfs dfs -rmr /tools

开启回收站后删除日志对比：

未开启回收站删除日志：

rmr: DEPRECATED: Please use 'rm -r' instead.
开启回收站日志：
18/04/09 21:35:40 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /tools ---> 成功删除（对比：回收站）

-getmerge 把某个目录下的文件先合并，再下载（提高效率）

[root@bigdata111 temp]# vi student01.txt
[root@bigdata111 temp]# vi student02.txt
[root@bigdata111 temp]# hdfs dfs -mkdir /students
[root@bigdata111 temp]# hdfs dfs -put student0*.txt /students
[root@bigdata111 temp]# hdfs dfs -ls /students

[root@bigdata111 temp]# hdfs dfs -getmerge /students ~/temp/allstudent.txt

-cp 复制文件 hdfs dfs -cp /input/data.txt /input/data2.txt

-mv 移动文件 hdfs dfs -cp /input/data.txt /students

-count: hdfs dfs -count /students

1 2 29 /students

目录个数文件个数文件总计大小输入路径

-du 每个文件的大小

[root@bigdata111 temp]# hdfs dfs -du /students
19 /students/student01.txt

10 /students/student02.txt

-text、-cat 查看文件内容

hdfs dfs -cat /students/student01.txt

balancer:平衡操作

（2）管理命令 hdfs dfsadmin ****

-report ：输出HDFS的报告（Summary）

-safemode：安全模式

                     [root@bigdata111 temp]# hdfs dfsadmin -safemode
    Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
    [root@bigdata111 temp]# hdfs dfsadmin -safemode get
    Safe mode is OFF
            [root@bigdata111 temp]# hdfs dfsadmin -safemode enter
   Safe mode is ON
    [root@bigdata111 temp]# hdfs dfs -mkdir /aaaa
    mkdir: Cannot create directory /aaaa. Name node is in safe mode.
    [root@bigdata111 temp]# hdfs dfsadmin -safemode leave
    Safe mode is OFF

3、Java程序

依赖的jar包：

$HADOOP_HOME/share/hadoop/common

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

（2）上传数据、下载数据

（3）获取元信息

三、HDFS原理解析（画图）------>非常重要

NameNode缓存元信息，默认：1000M

hadoop-env.sh 改变参数设置

# The maximum amount of heap to use, in MB. Default is 1000.
#export HADOOP_HEAPSIZE=

#export HADOOP_NAMENODE_INIT_HEAPSIZE=""

如果内存崩溃，会使用日志进行恢复

1、数据上传的过程（原理）

2、数据下载的过程（原理）

四、HDFS的高级功能
1、回收站
补充：Oracle的回收站
恢复：闪回（flashback）
(1) 闪回表 flashback table
(2) 闪回删除 flashback drop
(3) 闪回查询 flashback query
(4) 闪回事务查询 flashback transaction query -----> 可以撤销一个已经提交了的事务
(5) 闪回数据库 flashback database
(6) 闪回版本查询 flashback verion query
(7) 闪回数据归档 flashback data archive

HDFS的回收站：默认禁用
参数： core-site.xml
单位：分钟
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
没有回收站
日志：
18/04/09 21:35:40 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /tools ---> 成功删除（对比：回收站）
回收站
Moved:'hdfs://bigdata111:9000/tools/a.zip'to trash at: hdfs://bigdata111:9000/user/root/.Trash/Current

HDFS回收站的本质：ctrl +x 移动到一个隐藏目录
查看回收站
hdfs dfs -lsr /user/root/.Trash/Current
从回收站中恢复
hdfs dfs -cp /user/root/.Trash/Current/tools/a.zip /tools
        [-expunge] 清空回收站
2、快照：snapshot（是一种备份）
本质：cp命令
管理命令
          [-allowSnapshot <snapshotDir>]
          [-disallowSnapshot <snapshotDir>]
操作命令
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]

(*) 默认禁用
(*) 针对目录开启快照
hdfs dfsadmin -allowSnapshot /students
(*) 创建一个备份
hdfs dfs -createSnapshot /students backup_student_0411_01

日志：Created snapshot /students/.snapshot/backup_student_0411_01

hdfs dfs -put student03.txt /students
hdfs dfs -createSnapshot /students backup_student_0411_02

(*) 对比快照
hdfs snapshotDiff /students backup_student_0411_01 backup_student_0411_02
M .
+ ./student03.txt

hdfs lsSnapshottableDir
通过网页查看

(*)恢复快照
hdfs dfs -cp /input/.snapshot/backup_input_01/data.txt /input
补充：Oracle数据库快照: 一般做异步更新
create snapshot aaaa as 子查询更新时间

Oracle数据库备份
exp、expdp、数据泵 ----> 逻辑备份导出数据
rman: recovery manager
3、配额（quota）
（1）名称配额: 限制某个目录下，文件的个数
[-setQuota <quota> <dirname>...<dirname>]
[-clrQuota <dirname>...<dirname>]

hdfs dfs -mkdir /folder1

hdfs dfsadmin -setQuota 3 /folder1

实际是：N-1
（2）空间配额: 限制某个目录下，文件的大小
[-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
[-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]

hdfs dfs -mkdir /folder2

设置空间配额：1M
hdfs dfsadmin -setSpaceQuota 1M /folder2

错误：
The DiskSpace quota of /folder2 is exceeded: quota = 1048576 B = 1 MB but diskspace consumed = 134217728 B = 128 MB

注意：设置的值一定不能小于128M

4、安全模式：safemode
（*）HDFS启动的过程中，经历安全模式
（*）参考讲义：P23

5、简介：HDFS的集群
（1）联盟Federation
（2）HA（高可用性 high availability）

五、HDFS的底层原理
1、代理对象：Java Proxy
（*）来源：客户端得到的是NameNodeProxies（NameNode代理对象）

（*）是包装设计模式，用来增强类或者方法的功能

（*）代理对象的应用场景：数据库的连接池（JDBC）
(1) BDCP
(2) C3P0

（*）搭建MySQL数据库
tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar

在虚拟机上安装MySQL：
yum remove mysql-libs
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm （可选）

启动MySQL：service mysqld start
或者：systemctl start mysqld.service
查看root用户的密码：cat /var/log/mysqld.log | grep password
登录后修改密码：alter user 'root'@'localhost' identified by 'Welcome_1';
MySQL数据库的配置：
创建一个新的数据库：create database hive;
创建一个新的用户：
create user 'hiveowner'@'%' identified by 'Welcome_1';
给该用户授权
grant all on hive.* TO 'hiveowner'@'%';
grant all on hive.* TO 'hiveowner'@'localhost' identified by 'Welcome_1';

2、什么是RPC？ remote procedure call 远程过程调用（协议）