Bladeren bron

update assignment3

wangyu
hxlong 4 jaren geleden
bovenliggende
commit
d91be5af90
1 gewijzigde bestanden met toevoegingen van 10 en 9 verwijderingen
  1. +10
    -9
      Assignment3.md

+ 10
- 9
Assignment3.md Bestand weergeven

@ -102,29 +102,29 @@
> Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 我们可以登录Master节点通过一些基本命令操作文件,操作的命令与我们在Linux系统命令类似。
1. 列出文件
#### 列出文件
> hadoop fs -ls <path>
2. 创建目录
#### 创建目录
> hadoop fs -mkdir <paths> 接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。
>
> eg: hadoop fs -mkdir /dir1 /dir2 (该目录时被创建在HDFS文件系统中,而不是本地文件系统)
3. 上传文件
#### 上传文件
> hadoop fs -put <localsrc> <dst> 从本地文件系统中上传文件到HDFS文件系统中
>
> eg: hadoop fs -put /root/install-java.sh /dir1 本地文件 : /root/install-java.sh HDFS文件系统中文件夹 : /dir1
4. 下载文件
#### 下载文件
> hadoop fs -get <src> <localdst> 从HDFS文件系统中下载文件到本地
>
> mkdir test && hadoop fs -get /dir1/install-java.sh /root/test
5. 检查文件
#### 检查文件
> 使用方法:hadoop fs -test -[ezd] url
>
@ -151,12 +151,13 @@
> 上述的操作命令我们都是在Hadoop集群上直接操作的,出于安全性考虑,通常我们在单独的机器上安装客户端进行任务提交和相关操作。
1. 按照实验一的步骤 申请一台UHost云主机(CentOS操作系统)。
2. 配置环境
#### 按照实验一的步骤 申请一台UHost云主机(CentOS操作系统)。
#### 配置环境
> 我们需要配置云主机的环境,让能够正常访问HDFS文件系统。
2.1 利用安装脚本部署
##### 利用安装脚本部署
- 在**hadoop集群的master节点**下载安装脚本:
@ -186,7 +187,7 @@
`作业三要求:`
> 1. 在UHost云主机上删除作业二中创建的文件和文件夹并截图
> 在UHost云主机上删除作业二中创建的文件和文件夹并截图
### 四)MapReduce Job

Laden…
Annuleren
Opslaan