Kaynağa Gözat

update assignment3

wangyu
hxlong 3 yıl önce
ebeveyn
işleme
224b30e29a
1 değiştirilmiş dosya ile 7 ekleme ve 3 silme
  1. +7
    -3
      Assignment3.md

+ 7
- 3
Assignment3.md Dosyayı Görüntüle

@ -154,7 +154,7 @@
>
> 3. 使用cat命令查看文件内容并截图 `截图中需要包含文件夹信息` (查看的是HDFS文件系统中的info,txt,而不是本地文件系统)
>
> `操作时主要使用的用户和目录,避免出现permission denied问题`
> `操作时注意使用的用户和目录,避免出现permission denied问题`
### 三) 客户端搭建
@ -227,6 +227,10 @@ hadoop jar /home/hadoop/hadoop-examples.jar wordcount /input /output 如果/ou
`**************作业4:统计/home/hadoop/etc/hadoop目录下所有文件的词频并截图,插入实验报告中***************`
`******特别注意,做完作业4 即可请删除UHadoop集群、EIP 和UHost主机等资源******`
#### WordCount 实现原理
> MapReduce主要分为两步Map步和Reduce步,引用网上流传很广的一个故事来解释,现在你要统计一个图书馆里面有多少本书,为了完成这个任务,你可以指派小明去统计书架1,指派小红去统计书架2,这个指派的过程就是Map步,最后,每个人统计完属于自己负责的书架后,再对每个人的结果进行累加统计,这个过程就是Reduce步。下图是WordCount的实现原理图,[WordCount实现](https://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html#用法)。
@ -237,9 +241,9 @@ hadoop jar /home/hadoop/hadoop-examples.jar wordcount /input /output 如果/ou
`作业要求`
> 需要统计的文件夹: [/home/hadoop/etc/hadoop](file/assginment3/hadoop)
> 需要统计的文件夹: [/home/hadoop/etc/hadoop](file/assignment3/hadoop/)
>
> 在本地执行,并记录执行时间
`******特别注意,实验结束后请删除UHadoop集群、EIP 和UHost主机等资源******`

Yükleniyor…
İptal
Kaydet