|
@ -102,29 +102,29 @@ |
|
|
|
|
|
|
|
|
> Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 我们可以登录Master节点通过一些基本命令操作文件,操作的命令与我们在Linux系统命令类似。 |
|
|
> Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 我们可以登录Master节点通过一些基本命令操作文件,操作的命令与我们在Linux系统命令类似。 |
|
|
|
|
|
|
|
|
1. 列出文件 |
|
|
|
|
|
|
|
|
#### 列出文件 |
|
|
|
|
|
|
|
|
> hadoop fs -ls <path> |
|
|
> hadoop fs -ls <path> |
|
|
|
|
|
|
|
|
2. 创建目录 |
|
|
|
|
|
|
|
|
#### 创建目录 |
|
|
|
|
|
|
|
|
> hadoop fs -mkdir <paths> 接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。 |
|
|
> hadoop fs -mkdir <paths> 接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。 |
|
|
> |
|
|
> |
|
|
> eg: hadoop fs -mkdir /dir1 /dir2 (该目录时被创建在HDFS文件系统中,而不是本地文件系统) |
|
|
> eg: hadoop fs -mkdir /dir1 /dir2 (该目录时被创建在HDFS文件系统中,而不是本地文件系统) |
|
|
|
|
|
|
|
|
3. 上传文件 |
|
|
|
|
|
|
|
|
#### 上传文件 |
|
|
|
|
|
|
|
|
> hadoop fs -put <localsrc> <dst> 从本地文件系统中上传文件到HDFS文件系统中 |
|
|
> hadoop fs -put <localsrc> <dst> 从本地文件系统中上传文件到HDFS文件系统中 |
|
|
> |
|
|
> |
|
|
> eg: hadoop fs -put /root/install-java.sh /dir1 本地文件 : /root/install-java.sh HDFS文件系统中文件夹 : /dir1 |
|
|
> eg: hadoop fs -put /root/install-java.sh /dir1 本地文件 : /root/install-java.sh HDFS文件系统中文件夹 : /dir1 |
|
|
|
|
|
|
|
|
4. 下载文件 |
|
|
|
|
|
|
|
|
#### 下载文件 |
|
|
|
|
|
|
|
|
> hadoop fs -get <src> <localdst> 从HDFS文件系统中下载文件到本地 |
|
|
> hadoop fs -get <src> <localdst> 从HDFS文件系统中下载文件到本地 |
|
|
> |
|
|
> |
|
|
> mkdir test && hadoop fs -get /dir1/install-java.sh /root/test |
|
|
> mkdir test && hadoop fs -get /dir1/install-java.sh /root/test |
|
|
|
|
|
|
|
|
5. 检查文件 |
|
|
|
|
|
|
|
|
#### 检查文件 |
|
|
|
|
|
|
|
|
> 使用方法:hadoop fs -test -[ezd] url |
|
|
> 使用方法:hadoop fs -test -[ezd] url |
|
|
> |
|
|
> |
|
@ -151,12 +151,13 @@ |
|
|
|
|
|
|
|
|
> 上述的操作命令我们都是在Hadoop集群上直接操作的,出于安全性考虑,通常我们在单独的机器上安装客户端进行任务提交和相关操作。 |
|
|
> 上述的操作命令我们都是在Hadoop集群上直接操作的,出于安全性考虑,通常我们在单独的机器上安装客户端进行任务提交和相关操作。 |
|
|
|
|
|
|
|
|
1. 按照实验一的步骤 申请一台UHost云主机(CentOS操作系统)。 |
|
|
|
|
|
2. 配置环境 |
|
|
|
|
|
|
|
|
#### 按照实验一的步骤 申请一台UHost云主机(CentOS操作系统)。 |
|
|
|
|
|
|
|
|
|
|
|
#### 配置环境 |
|
|
|
|
|
|
|
|
> 我们需要配置云主机的环境,让能够正常访问HDFS文件系统。 |
|
|
> 我们需要配置云主机的环境,让能够正常访问HDFS文件系统。 |
|
|
|
|
|
|
|
|
2.1 利用安装脚本部署 |
|
|
|
|
|
|
|
|
##### 利用安装脚本部署 |
|
|
|
|
|
|
|
|
- 在**hadoop集群的master节点**下载安装脚本: |
|
|
- 在**hadoop集群的master节点**下载安装脚本: |
|
|
|
|
|
|
|
@ -186,7 +187,7 @@ |
|
|
|
|
|
|
|
|
`作业三要求:` |
|
|
`作业三要求:` |
|
|
|
|
|
|
|
|
> 1. 在UHost云主机上删除作业二中创建的文件和文件夹并截图 |
|
|
|
|
|
|
|
|
> 在UHost云主机上删除作业二中创建的文件和文件夹并截图 |
|
|
|
|
|
|
|
|
### 四)MapReduce Job |
|
|
### 四)MapReduce Job |
|
|
|
|
|
|
|
|